DE69801794T2

DE69801794T2 - Verfahren zur auffrischung eines digitalen bildes, vorrichtung zur bildverarbeitung und datenträger

Info

Publication number: DE69801794T2
Application number: DE69801794T
Authority: DE
Inventors: Seng Boon
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-01-30
Filing date: 1998-01-27
Publication date: 2002-06-13
Anticipated expiration: 2018-01-28
Also published as: DE69801794D1; EP0907290A4; KR20000064833A; US7046730B2; WO1998034407A1; CN1216199A; ES2162411T3; US20040042673A1; KR100318060B1; EP0907290B8; EP0907290A1; EP0907290B1

Description

Technisches Gebiet

Die vorliegende Erfindung bezieht sich auf ein digitales Bildauffüllverfahren, eine Bildverarbeitungsvorrichtung und ein Datenaufzeichnungsmedium, und insbesondere auf ein Auffüllverfahren, bei dem das Auffüllen von Bildpunktwerten für ein digitales Bildsignal durchgeführt wird, das einem verschachtelt abgetasteten Bild mit einer willkürlichen Form entspricht, auf eine Bildverarbeitungsvorrichtung zum Codieren oder Decodieren des digitalen Bildsignals unter Verwendung dieses Auffüllverfahrens, und auf ein Datenaufzeichnungsmedium, das ein Programm für die Implementierung der Bildsignalverarbeitung durch das Auffüllverfahren oder die Bildverarbeitungsvorrichtung in einem Computer enthält.

Stand der Technik

Um digitale Bildinformationen effizient zu übertragen oder zu speichern, ist es erforderlich, daß die digitalen Bildinformationen komprimiert codiert werden. Im Stand der Technik gibt es als Verfahren zum komprimierten Codieren der digitalen Bildinformationen Signalformcodierungsverfahren, wie z. B. Unterband, Wavelet, Fraktal usw., sowie die DCT (diskrete Cosinustransformation), die für JPEG (Joint Photographic Coding Experts Group) oder MPEG (Moving Picture Experts Group) typisch ist.
Als ein Verfahren zum Eliminieren redundanter Bildinformationen zwischen benachbarten Bildern oder dergleichen gibt es inzwischen ein Verfahren, in welchem die Zwischenbild-Vorhersage durchgeführt wird unter Verwendung der Bewegungskompensation, indem Werte von Bildpunkten eines aktuellen Bildes durch Differenzwerte zwischen diesen Werten und Werten von Bildpunkten eines vorangehenden Bildes dargestellt werden, wobei ein Differenzbildsignal der Differenzwerte der Signalformcodierung unterworfen wird.
Ein verschachtelt abgetastetes Bildsignal, wie z. B. ein Videosignal in einen aktuellen Fernsehformat, bildet ein verschachteltes Bild. In diesem verschachtelten Bild umfaßt ein Vollbild ungeradzahlige und geradzahlige Halbbilder, deren Abtastzeitabläufe sich voneinander unterscheiden. Ob im verschachtelten Bild die Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen hoch ist, hängt aus diesem Grund von der Größe der Bewegung des jeweiligen auf einem Vollbild angezeigten Objekts ab (jedes Objekt weist eine willkürliche Form in einem Vollbild auf).
Wenn dementsprechend ein Bildsignal, das dem verschachtelten Bild entspricht, in einem Fall codiert wird, in dem eine hohe Korrelation der Bildpunktwerte zwischen den Abtastzeilen vorliegt, werden die Bewegungskompensation und die Signalformcodierung für das Bildsignal vollbildweise durchgeführt, während in einem Fall, in dem eine geringe Kompensation der Bildpunktwerte zwischen Abtastzeilen vorhanden ist, das Bildsignal in ungeradzahlige und geradzahlige Halbbilder unterteilt wird, deren Bildsignale der Bewegungskompensation und der Signalformcodierung halbbildweise unterworfen werden.
In den letzten Jahren wurde für die Reproduktion eines Bildsignals für jedes der Objekte in einem Vollbild bei Erhöhung der Effizienz in der Kompression eines Bildsignals ein Codierungsverfahren entwickelt, bei dem die Bildsignale der Objekte komprimiert codiert und separat für jedes Objekt übertragen werden. Ein codiertes Bildsignal, das mit diesem Codierungsverfahren codiert worden ist, wird auf der Wiedergabeseite in einer Weise decodiert, die an das Decodierungsverfahren angepaßt ist. Genauer werden bei dieser Decodierung die codierten Bildsignale der jeweiligen Objekte decodiert, wobei die resultierenden decodierten Bildsignale der jeweiligen Objekte synthetisiert werden, um ein wiedergegebenes Bildsignal zu erzeugen. Anschließend wird auf der Grundlage des wiedergegebenen Bildsignals ein Vollbild angezeigt, das die jeweiligen Objekte umfaßt.
Durch die Verwendung des Codierungsverfahrens für die Durchführung der Codierung des Bildsignals für jedes Objekt, wie oben beschrieben worden ist, wird es möglich, Objekte frei zu kombinieren, um ein Komposit-Bild zu erzeugen, wodurch bewegte Bilder leicht erneut editiert werden können. Außerdem kann ein bewegtes Bild, das nur Objekte mit hoher Wichtigkeit umfaßt, ohne Reproduzieren der Objekte mit relativ geringer Wichtigkeit angezeigt werden, in Abhängigkeit vom Grad der Überlastung eines Kommunikationspfades, der Leistungsfähigkeit einer Wiedergabevorrichtung oder der Vorliebe eines Betrachters.
Für die Codierung eines Bildsignals eines Objekt (eines Bildes mit einer willkürlichen Form) wird eine Signalformtransformation verwendet, die eine Signalverarbeitung durchführt, die an eine Form des Objekts angepaßt ist, z. B. die formadaptive DCT, oder die Signalformtransformation für ein aufgefülltes Bildsignal. Genauer wird im Verfahren das Auffüllen eines Bildsignals durchgeführt, das einen Bildraum (rechtwinkliger Bereich) bildet, durch Ersetzen der Werte der Bildpunkte in seinem unwesentlichen Bereich durch Auffüllbildpunktwerte, die durch ein vorgeschriebenes Verfahren erhalten werden, woraufhin eine herkömmliche 8 · 8-Cosinustransformation für das aufgefüllte Bildsignal durchgeführt wird. Der unwesentliche Bereich ist ein Bereich außerhalb eines Objekts im rechtwinkligen Bereich und umfaßt Bildpunkte, die für das Anzeigen des Objekts keinen Wert aufweisen. Mit anderen Worten, ein Bildsignal des unwesentlichen Bereiches umfaßt sogenannte unwesentliche Abtastwerte. Ferner ist die 8 · 8-Cosinustransformation eine Signaltransformation, die die Cosinustransformation für das Bildsignal des rechtwinkligen Bereiches für jeden Bildraum mit 8 · 8 Bildpunkten durchführt.
Als ein Verfahren zum Eliminieren eines redundanten Signals zwischen benachbarten Vollbildern gibt es ein Verfahren zum Erhalten der Differenz zwischen einem Bildsignal eines zu codierenden Ziel-Makroblocks und seinem Vorhersagesignal für jeden Bildraum (Makroblock), der 16 · 16 Bildpunkte umfaßt, als ein Vorhersagefehlersignal (Differenzsignal). Hierbei wird angenommen, daß das Vorhersagesignal ein Bildsignal eines Vorhersagebereiches ist, der durch Bewegungskompensation erhalten wird. Der Bewegungskompensationsprozeß erfaßt einen Bereich, der 16 · 16 Bildpunkt umfaßt, entsprechend einem Bildsignal in einem codierten oder decodierten Vollbild, wo die Differenz zwischen dem Bildsignal des Ziel-Makroblocks und dem Bildsignal am kleinsten ist, als Vorhersagebereich.
In bestimmten Fällen jedoch enthält der Vorhersagebereich auch Bildpunkte (im folgenden bezeichnet als unwesentliche Bildpunkte), die unwesentliche Abtastwerte aufweisen. Wenn in solchen Fällen die Differenz zwischen dem Vorhersagesignal des Vorhersagebereichs, der unwesentliche Werte enthält, und einem Bildsignal des Ziel- Bereiches berechnet wird, tendieren die Differenzwerte dazu, sehr groß zu sein, da die Abtastwerte der unwesentlichen Bildpunkte nicht immer optimale Vorhersagewerte für kleinere Differenzen sind.
Als Lösung hierfür wird ein Auffüllen des Bildsignals des Vorhersagebereiches durchgeführt, indem die unwesentlichen Abtastwerte durch vorgeschriebene Auffüllwerte ersetzt werden, woraufhin die Differenz zwischen dem aufgefüllten Vorhersagesignal und dem Bildsignal des Ziel-Makroblocks als ein Differenzsignal (Vorhersagefehlersignal) berechnet wird, das der Transformation für die Codierung unterworfen wird. Dieses Auffüllen des Vorhersagesignals kann das Differenzsignal unterdrücken.
Bei der Bildpunktwertauffüllung des Standes der Technik werden als Auffüllwert für einen unwesentlichen Abtastwert die Abtastwerte der wesentlichen Werte (Bildpunkt mit wesentlichen Abtastwerten) neben dem entsprechenden unwesentlichen Bildpunkt in den vertikalen und horizontalen Richtungen jeweils gemittelt, wobei der resultierende Mittelwert verwendet wird. Durch die Verwendung des Mittelwertes der Abtastwerte der wesentlichen Bildpunkte können Hochfrequenzkomponenten in einem Bildsignal (Vorhersagesignal) in einem aufgefüllten Bildraum unterdrückt werden, um somit die Codierungseffizienz zu steigern.
Wenn jedoch das Auffüllen, das den Mittelwert der wesentlichen Bildpunkte neben den unwesentlichen Bildpunkten in vertikalen und horizontalen Richtungen als Auffüllwert verwendet, auf das Bildsignal des verschachtelten Bildes angewendet wird, nehmen die Hochfrequenzanteile des Bildsignals zu, was im folgenden genauer beschrieben wird.
Im verschachtelten Bild, insbesondere in einem Fall, in dem die Bewegung eines Objekts groß ist, ergibt sich eine geringe Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen. Die Fig. 18 zeigt schematisch ein Beispiel einer Anordnung von Bildpunktwerten, die eine solche geringe Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen im verschachtelten Bild zeigt, als Anordnung von Bildpunktwerten in einem Bildraum 301.
Der Bildraum 301 ist ein Bildraum, der 8 · 8 Bildpunkte umfaßt. In der Figur wird jeder Bildpunkt als ein Quadrat dargestellt. Die Bildpunkte (z. B. die Bildpunkte 303 und 304) der schraffierten Quadrate sind Bildpunkte (wesentliche Bildpunkte) mit wesentlichen Bildpunktwerten, während die Bildpunkte (z. B. der Bildpunkt 302) der Quadrate, die nicht schraffiert sind, Bildpunkte (unwesentliche Bildpunkte) mit unwesentlichen Bildpunktwerten sind. Die Zahl des jeweiligen Quadrats gibt einen Abtastwert des entsprechenden Bildpunkts an.
Da sich die Abtastzeitabläufe zwischen ungeradzahligen und geradzahligen Halbbildern im verschachtelten Bild voneinander unterscheiden, sieht es in einem Fall, in dem die Bewegung eines Objekts in einem Bild groß ist, so aus, als ob das Objekt eine Form von zwei Umrissen in einem Vollbild, das aus diesen zwei Halbbildern besteht, aufweist, wie im Bildraum 301 der Fig. 18 beobachtet werden kann. In diesem Fall ist z. B. der wesentliche Bildpunkt 304 benachbart zu seinen oberen und unteren unwesentlichen Bildpunkten.
Im folgenden wird mit Bezug auf die Fig. 18 und 19 ein Auffüllverfahren des Standes der Technik und dessen Additionsergebnis beschrieben.
Im Auffüllverfahren des Standes der Technik werden drei Sehritte ausgeführt.
In einem ersten Schritt S1 werden Abtastwerte unwesentlicher Bildpunkte durch Abtastwerte wesentlicher Bildpunkte neben diesen im Bildraum 301 ersetzt, für unwesentliche Bildpunkte, die in horizontaler Richtung ausgerichtet sind, in der Reihenfolge von innen nach außen im Bildraum 301. Anschließend werden die Abtastwerte der unwesentlichen Bildpunkte im Bildraum, für die dieser horizontale Ersetzungsprozeß durchgeführt worden ist, durch Abtastwerte wesentlicher Bildpunkte neben diesen ersetzt, für unwesentliche Bildpunkte, die in vertikaler Richtung ausgerichtet sind, in der Reihenfolge von innen nach außen im Bildraum. Der Prozeß im ersten Schritt S1, der so für den Bildraum 301 durchgeführt wird, führt zu einem Bildraum 350, der Bildpunkte mit den in Fig. 18 gezeigten Abtastwerten umfaßt.
Genauer, im horizontalen Ersetzungsprozeß im ersten Schritt S1 werden die Abtastwerte der unwesentlichen Bildpunkte auf den Bildpunktzeilen 354-359 im Bildraum 350 durch Auffüllwerte (Abtastwerte der wesentlichen Bildpunkt) ersetzt. Außerdem werden im vertikalen Ersetzungsprozeß im ersten Schritt S1 die Abtastwerte der unwesentlichen Bildpunkte auf den Bildpunktzeilen 352 und 353 durch Abtastwerte der wesentlichen Bildpunkte und der aufgefüllten Bildpunkte (unwesentliche Bildpunkte, deren Abtastwerte durch Auffüllwerte ersetzt worden sind) auf der Bildpunktzeile 354 ersetzt.
In einem zweiten Schritt S2 werden in umgekehrter Reihenfolge zum ersten Schritt S1 die Abtastwerte der unwesentlichen Bildpunkte durch Abtastwerte der wesentlichen Bildpunkte neben diesen im Bildraum 301 ersetzt, für unwesentliche Bildpunkte, die in der vertikalen Richtung ausgerichtet sind, in der Reihenfolge von innen nach außen im Bildraum. Anschließend werden die Abtastwerte der unwesentlichen Bildpunkt durch Abtastwerte der wesentlichen Bildpunkt neben diesen im Bildraum ersetzt, mit denen der vertikale Austauschprozeß durchgeführt worden ist, für unwesentliche Bildpunkt, die in horizontaler Richtung ausgerichtet sind, in der Reihenfolge von innen nach außen im Bildraum. Der Prozeß im zweiten Schritt S2, der so für den Bildraum 301 durchgeführt wird, resultiert in einem Bildraum 351, der Bildpunkt mit den in Fig. 18 gezeigten Abtastwerten umfaßt.
Genauer, im vertikalen Ersetzungsprozeß im zweiten Schritt S2 werden die Abtastwerte der unwesentlichen Bildpunkte auf den Bildpunktspalten 362-365 ersetzt durch Auffüllwerte im Bildraum 351. Außerdem werden im horizontalen Austauschprozeß im zweiten Schritt S2 die Abtastwerte der unwesentlichen Bildpunkte auf den Bildpunktspalten 360 und 361 ersetzt durch die Abtastwerte der wesentlichen Bildpunkte und der aufgefüllten Bildpunkte auf der Bildpunktspalte 362, wobei in ähnlicher Weise die Abtastwerte der unwesentlichen Bildpunkte auf den Bildpunktspalten 367 und 368 ersetzt werden durch die Abtastwerte der wesentlichen Bildpunkte und der aufgefüllten Bildpunkte auf der Bildpunktspalte 365.
In einem dritten Schritt S3, wie in Fig. 19 gezeigt ist, werden die Abtastwerte der Bildpunkte im Bildraum 350, die durch den ersten Schritt S1 erhalten worden sind, und die entsprechenden Bildpunkt im Bildraum 351, die durch den zweiten Schritt S2 erhalten worden sind, gemittelt, was zu einem Bildraum 380 führt, der Bildpunkte mit den in Fig. 19 gezeigten Abtastwerten umfaßt.
Die Neuabtastung, die die Bildpunkte, die den Bildraum 380 bilden, in Bildpunkte unterteilt, die den ungeradzahligen und den geradzahligen Halbbildern zugeordnet sind unter der Annahme, daß der Bildraum 380 ein Vollbild ist, führt zu einem Bildraum 381, der mehrere Bildpunkte umfaßt, die dem ungeradzahligen Halbbild zugeordnet sind, und zu einem Bildraum 382, der mehrere Bildpunkte umfaßt, die dem geradzahligen Halbbild zugeordnet sind, wie in Fig. 20 gezeigt ist. In den Bildräumen 381 und 382, die diesen entsprechenden Halbbildern zugeordnet sind, sind die Abtastwerte der Bildpunkte nicht gleichmäßig, was hochfrequente Komponenten in die Bildsignale in den Bildräumen 381 und 382 einführt.
Außerdem tritt dieses Problem, das dem Auffüllen zugeordnet ist, im nicht verschachtelt abgetasteten Bild (progressives Bild) genauso auf wie im verschachtelt abgetasteten Bild (verschachteltes Bild). Genauer, in vielen Fällen weist das progressive Bild ein Streifenmuster auf, wobei für den Fall des progressiven Bildes mit dem Streifenmuster die obige Neuabtastung derart durchgeführt wird, daß mehrere Bildpunkte, die ein Vollbild (Bildraum) bilden, in einem Streifenabschnitt und dem anderen Abschnitt des Bildraums gesammelt werden, um Bildräume auszubilden, die dem Streifenmusterabschnitt und dem anderen Abschnitt zugeordnet sind, woraufhin die resultierenden neuabgetasteten Bildräume codiert werden.
Wenn in diesem Fall das Auffüllen im Bildsignal des progressiven Bildes mit dem Streifenmuster mittels des Auffüllverfahrens des Standes der Technik durchgeführt wird, werden hochfrequente Komponenten in ein Bildsignal eingeführt, das dem neuabgetasteten Bildraum entspricht, was zu einer verschlechterten Codierungseffizienz führt.
Ferner tritt ein ähnliches Problem bei anderen Auffüllverfahren als dem obigen auf, welche Auffüllwerte unter Verwendung wesentlicher Abtastwerte (Proben) neben den unwesentlichen Bildpunkten in horizontaler oder vertikaler Richtung berechnen.
Die vorliegende Erfindung ist auf die Lösung des obenerwähnten Problems gerichtet und hat die Aufgabe, ein digitales Bildauffüllverfahren zu schaffen, in welchem das Auffüllen eines verschachtelt abgetasteten Bildes oder eines Bildes eines Streifenmusters mit einer willkürlichen Form durchgeführt wird, während die Verschlechterung der Effizienz der Codierung des Vorhersagefehlersignals unterdrückt wird; eine Bildverarbeitungsvorrichtung zu schaffen, die die Bildcodierung oder die Bilddecodierung mittels des Auffüllverfahrens durchführt; und ein Datenaufzeichnungsmedium zu schaffen, das ein Programm enthält für die Implementierung dieser. Bildverarbeitung mittels des Auffüllverfahrens oder der Bildverarbeitungsvorrichtung in einem Computer.

Offenbarung der Erfindung

Gemäß Anspruch 1 der vorliegenden Erfindung umfaßt ein digitales Bildauffüllverfahren der vorliegenden Erfindung für die Durchführung des Auffüllens von Bildpunktwerten eines digitalen Bildsignals, das einen ursprünglichen Bildraum bildet, der ein Bild mit einer willkürlichen Form aufweist und wesentliche Bildpunkte und unwesentliche Bildpunkte umfaßt, einen Bildpunktumordnungsschritt, in welchem mehrere Bildpunkte im ursprünglichen Bildraum entsprechend einer vorgeschriebenen Regel gruppiert werden, um mehrere kleine Bildräume zu bilden, die jeweils Bildpunkte der gleichen Gruppe umfassen; und einen Bildpunktauffüllschritt, in welchem Werte der unwesentlichen Bildpunkte in jedem kleinen Bildraum ersetzt werden durch Auffüllbildpunktwerte, die durch ein vorgeschriebenes Verfahren erzeugt werden.
Im so konstruierten digitalen Bildauffüllverfahren werden mehrere Bildpunkte, die den ursprünglichen Bildraum bilden, entsprechend einer vorgeschriebenen Regel extrahiert, um mehrere kleine Bilder zu bilden. Mit anderen Worten, es ist möglich, den ursprünglichen Bildraum dort, wo eine geringe Korrelation der Bildpunktwerte zwischen benachbarten Bildpunkten oder Abtastzeilen vorliegt, in mehrere kleine Räume zu unterteilen, in denen eine hohe Korrelation der Bildpunktwerte zwischen den benachbarten Bildpunkten oder Abtastzeilen vorliegt. Dementsprechend wird das Auffüllen für das verschachtelt abgetastete Bild oder das Bild des Streifenmusters mit einer willkürlichen Form für jeden kleinen Bildraum mit hoher Korrelation der Bildpunktwerte statt für den ursprünglichen Bildraum mit geringer Korrelation der Bildpunktwerte zwischen benachbarten Bildpunkten oder Abtastzeilen durchgeführt in diesem Fall liegt im aufgefüllten kleinen Bild eine hohe Korrelation der Bildpunktwerte vor, wobei es möglich ist, das Einführen von hochfrequenten Komponenten in das Bildsignal, das dem ursprünglichen Bildraum zugeordnet ist, im Prozeß für das Auffüllen des verschachtelt abgetasteten Bildes oder des Bildes mit einem Streifenmuster mit willkürlicher Form zu vermeiden.
Als Ergebnis wird die Differentialcodierung oder Differentialdecodierung für das verschachtelt abgetastete Bild durchgeführt, während eine Verschlechterung der Codierungseffizienz, die aus dem Auffüllen resultiert, unterdrückt wird.
Gemäß Anspruch 2 der vorliegenden Erfindung wird im digitalen Bildauffüllverfahren nach Anspruch 1 im Bildpunktumordnungsschritt die Abtastung durchgeführt mittels Extrahieren der Bildpunkte bei jedem (N+1)-ten Bildpunkt (N: positive ganze Zahl) in einer vorgeschriebenen Richtung des Bildraumes (N+1)-mal unter Verwendung der ersten bis (N+1)-ten Bildpunkte als Startprobenbildpunkt, um (N+1) Stücke von kleinen Bildräumen auszubilden, die jeweils eine vorgeschriebene Anzahl von Bildpunkten umfassen, die durch die Abtastung erhalten werden.
Im so konstruierten digitalen Bildauffüllverfahren werden die Bildpunkte im ursprünglichen Bildraum mit Intervallen einer vorgeschriebenen Anzahl von Bildpunkten in einer vorgeschriebenen Richtung des ursprünglichen Bildraums extrahiert, um die kleinen Bildräume auszubilden. Es ist somit möglich, den ursprünglichen Bildraum, der ein Bild mit einer beliebigen Form eines vertikalen Streifenmusters oder eines horizontalen Streifenmusters umfaßt, dort in kleine Bildräume zu unterteilen, wo eine hohe Korrelation von Bildpunktwerten zwischen benachbarten Bildpunktzeilen oder zwischen benachbarten Bildpunktspalten vorliegt, unabhängig von einer Breite oder einer Anordnungsbeabstandung der Streifen.
Gemäß Anspruch 3 der vorliegenden Erfindung werden im digitalen Bildauffüllverfahren nach Anspruch 2 die Operationswerte, die erhalten werden durch Ausführen der Operation für die Werte der wesentlichen Bildpunkte in einem N-ten (n = 1, 2, ... N - 1) kleinen Bildraum, als Auffüllbildpunktwerte verwendet für das Ersetzen der Werte der unwesentlichen Bildpunkte im n-ten kleinen Bildraum.
Im so konstruierten digitalen Bildauffüllverfahren werden die Werte der unwesentlichen Bildpunkte in einem kleinen Bildraum durch Auffüllbildpunktwerte ersetzt, die aus den Werten der wesentlichen Bildpunkte im gleichen kleinen Bildraum erhalten werden. Es ist somit möglich, im Auffüllprozeß die Erzeugung von Bildpunktwerten zu unterdrücken, die sich deutlich von den Werten der wesentlichen Bildpunkte im kleinen Bildraum unterscheiden.
Gemäß Anspruch 4 der vorliegenden Erfindung umfaßt das digitale Bildauffüllverfahren nach Anspruch 2 ferner einen Bildraumwiederherstellungsschritt, in welchem mehrere Bildpunkte, die aufgefüllte kleine Bildräume bilden, nach einer Regel umgeordnet werden, die an die vorgeschriebene Regel der Gruppierung angepaßt ist, so daß diese Bildpunkte einen wiederhergestellten Bildraum bilden, der die gleiche Bildpunktanordnung aufweist wie der ursprüngliche Bildraum.
Nachdem im so konstruierten digitalen Bildauffüllverfahren der ursprüngliche Bildraum dort, wo eine hohe Korrelation der. Bildpunktwerte vorhanden ist, in mehrere kleine Bilder unterteilt worden ist und das Auffüllen der Bildpunktwerte für diese kleinen Bildräume durchgeführt worden ist, werden die Bildpunkte im aufgefüllten kleinen Bildraum so umgeordnet, daß sie die gleiche Anordnung wie der ursprüngliche Bildraum aufweisen. Somit kann das Bildsignal, das dem aufgefüllten ursprünglichen Bildraum entspricht, in der gleichen Weise verarbeitet werden, in der das dem nichtaufgefüllten ursprünglichen Bildraum zugeordnete Bildsignal verarbeitet wird.
Gemäß Anspruch 5 der vorliegenden Erfindung werden im digitalen Bildauffüllverfahren nach Anspruch 4 die Operationswerte, die erhalten worden sind durch Ausführen der Operation für die Werte der wesentlichen Bildpunkte in einem n- ten (n = 1, 2, ... N -1) kleinen Bildraum, als Auffüllbildpunktwerte verwendet, um die Werte der unwesentlichen Bildpunkte im n-ten kleinen Bildraum zu ersetzen.
Im so konstruierten digitalen Bildauffüllverfahren werden die Werte der unwesentlichen Bildpunkte in einem kleinen Bildraum durch Auffüllbildpunktwerte ersetzt, die aus den Werten der wesentlichen Bildpunkte im gleichen kleinen Bildraum erhalten werden. Somit ist es möglich, im Auffüllprozeß die Erzeugung von Bildpunktwerten zu unterdrücken, die sich deutlich von den Werten der wesentlichen Bildpunkte im kleinen Bildraum unterscheiden.
Gemäß Anspruch 6 der vorliegenden Erfindung wird im digitalen Bildauffüllverfahren nach Anspruch 1 im Bildpunktumordnungsschritt die Abtastung kontinuierlich zweifach ausgeführt unter Verwendung der ersten und der zweiten Bildpunktreihen als Startprobenbildpunktreihen, durch Extrahieren der Bildpunkte auf jeder zweiten Bildpunktreihe in vertikaler Richtung des ursprünglichen Bildraums, um erste und zweite kleine Bildräume auszubilden, die jeweils eine vorgeschriebene Anzahl von Bildpunkten umfassen, die durch die ersten und zweiten Abtastungen erhalten werden.
Im so konstruierten digitalen Bildauffüllverfahren werden alle zweiten Bildpunkte in Vertikalrichtung des ursprünglichen Bildraums extrahiert, um einen kleinen Bildraum auszubilden, der ungeradzahlige Abtastzeilen im ursprünglichen Bildraum umfaßt, sowie einen kleinen Bildraum, der geradzahlige Abtastzeilen in einem kleinen Bildraum umfaßt, welcher geradzahlige Abtastzeilen enthält. Somit wird das Auffüllen des verschachtelt abgetasteten Bildes für jeden kleinen Bildraum durchgeführt, der den jeweiligen Halbbild entspricht, wenn eine hohe Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen vorliegt, statt dem ursprünglichen Bildraum, wenn eine geringe Korrelation der Bildpunktwerte zwischen diesen vorliegt. Somit ist es möglich, das Einführen von hochfrequenten Komponenten in ein Bildsignal des verschachtelt abgetasteten Bildes im Auffüllprozeß zu vermeiden.
Gemäß Anspruch 7 der vorliegenden Erfindung umfaßt ein digitales Bildauffüllverfahren zur Durchführung des Auffüllens der Bildpunktwerte bei einem digitalen Bildsignal, das einen ursprünglichen Bildraum bildet, welcher ein Bild mit einer willkürlichen Form umfaßt und wesentliche Bildpunkte und unwesentliche Bildpunkte umfaßt, die Schritte des Aufteilens des ursprünglichen Bildraums in einen ersten kleinen Bildraum, der die Bildpunkte auf ungeradzahligen Bildpunktreihen im ursprünglichen Bildraum umfaßt, und einen zweiten kleinen Bildraum, der die Bildpunkte auf geradzahligen Bildpunktreihen im ursprünglichen Bildraum umfaßt; und des Erzeugens erster Auffüllbildpunktwerte aus den Werten der wesentlichen Bildpunkte im ersten kleinen Bildraum und Ersetzen der Werte der unwesentlichen Bildpunkte im ersten kleinen Bildraum durch die ersten Auffüllbildpunktwerte, sowie des Erzeugens zweiter Auffüllbildpunktwerte aus den Werten der wesentlichen Bildpunkte im zweiten kleinen Bildraum und Ersetzen der Werte der unwesentlichen Bildpunkte im zweiten kleinen Bildraum durch die zweiten Auffüllbildpunktwerte.
Im so konstruierten digitalen Bildauffüllverfahren wird das Auffüllen des verschachtelt abgetasteten Bildes für jeden der ersten und zweiten kleinen Bildräume durchgeführt, die den Halbbildern zugeordnet sind, wo eine hohe Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen vorliegt, statt dem ursprünglichen Bildraum, wo eine geringe Korrelation der Bildpunktwerte zwischen diesen vorliegt. Als Ergebnis ist es möglich, das Einführen von Komponenten in ein Bildsignal des verschachtelt abgetasteten Bildes im Auffüllprozeß zu vermeiden.
Außerdem werden die Werte der unwesentlichen Bildpunkte in jedem kleinen Bildraum durch die Auffüllbildpunktwerte ersetzt, die aus den Werten der wesentlichen Bildpunkte im gleichen kleinen Bildraum erhalten werden, weshalb es möglich ist, im Auffüllprozeß die Erzeugung von Bildpunktwerten zu unterdrücken, die sich deutlich von den Werten der wesentlichen Bildpunkte im kleinen Bildraum unterscheiden.
Gemäß Anspruch 8 der vorliegenden Erfindung umfaßt ein digitales Bildauffüllverfahren zum Durchführen des Auffüllens eines digitalen Bildsignals, das einen ursprünglichen Bildraum bildet, der ein Bild mit einer willkürlichen Form umfaßt und wesentliche Bildpunkte und unwesentliche Bildpunkte umfaßt, das Ersetzen der Werte der unwesentlichen Bildpunkte durch Auffüllbildpunktwerte, die aus den Werten der wesentlichen Bildpunkte im ursprünglichen Bildraum ermittelt worden sind, wobei die wesentlichen Bildpunkte, die Werte aufweisen, die für die Ermittlung der Auffüllbildpunktwerte verwendet werden, andere Bildpunkte sind als die Bildpunkte neben den aufzufüllenden unwesentlichen Bildpunkten.
Im so konstruierten digitalen Bildauffüllverfahren werden die Auffüllbildpunktwerte für die Ersetzung der Werte der unwesentlichen Bildpunkte aus den Werten der wesentlichen Bildpunkte ermittelt, die nicht die Bildpunkte neben den unwesentlichen Bildpunkten im ursprünglichen Bildraum sind, weshalb die Werte der unwesentlichen Bildpunkte nicht durch die Werte der benachbarten Bildpunkte ersetzt werden. Als Ergebnis ist es möglich, ein Auffüllen der Bildpunktwerte für den ursprünglichen Bildraum dort durchzuführen, wo eine geringe Korrelation der Bildpunktwerte zwischen benachbarten Bildpunkten oder Abtastzeilen vorliegt, während das Einführen von hochfrequenten Komponenten in das Bildsignal unterdrückt wird, das dem ursprünglichen Bildraum entspricht.
Gemäß Anspruch 9 der vorliegenden Erfindung sind im digitalen Bildauffüllverfahren nach Anspruch 8 die wesentlichen Bildpunkte, die die Werte aufweisen, die für die Ermittlung der Auffüllbildpunktwerte verwendet werden, einen Bildpunkt von den aufzufüllenden unwesentlichen Bildpunkten beabstandet.
Im so konstruierten digitalen Bildauffüllverfahren werden die Werte der unwesentlichen Bildpunkte auf einer ungeradzahligen Abtastzeile durch Auffüllbildpunktwerte ersetzt, die aus Werten wesentlicher Bildpunkte auf einer weiteren ungeradzahligen Abtastzeile im ursprünglichen Bildraum erhalten werden, wobei die Werte der unwesentlichen Bildpunkte auf einer geradzahligen Abtastzeile durch Auffüllbildpunktwerte ersetzt werden, die aus Werten wesentlicher Bildpunkte auf einer weiteren geradzahligen Abtastzeile im ursprünglichen Bildraum erhalten werden. Somit ist es möglich, im Auffüllprozeß das Einführen hochfrequenter Komponenten in das Bildsignal zu vermeiden, das dem verschachtelt abgetasteten. Bild zugeordnet ist.
Gemäß Anspruch 10 der vorliegenden Erfindung wird eine Bildverarbeitungsvorrichtung geschaffen zur Durchführung einer Bildcodierung, die umfaßt: eine Korrelationsidentifizierungseinrichtung zum Identifizieren einer Korrelation zwischen Bildpunktwerten eines digitalen Bildsignals und zum Ausgeben eines Abtastidentifizierers gemäß dem Identifikationsergebnis, einen Codierungsabschnitt zum Durchführen einer Differentialcodierung des digitalen Bildsignals unter Verwendung eines Vorhersagebildsignals des digitalen Bildsignals gemäß dem Abtastidentifizierer und zum Ausgeben eines codierten Bildsignals, und einen Vorhersageabschnitt zum Erzeugen des Vorhersagebildsignals auf der Grundlage eines decodierten Bildsignals, in welchem das codierte Bildsignal lokal decodiert worden ist, wobei der Codierungsabschnitt umfaßt: einen Subtrahierer zum Ausgeben einer Differenz zwischen dem digitalen Bildsignal und dem Vorhersagebildsignal als ein Differenzsignal; eine Datenkompressionseinrichtung zum Komprimieren des Differenzbildsignals, um ein komprimiertes Bildsignal zu erzeugen; und einen Codierer mit variabler Länge zum Durchführen einer Codierung mit variabler Länge für das komprimierte Differenzsignal, und wobei der Vorhersageabschnitt umfaßt: eine Datenexpansionseinrichtung zum Expandieren des komprimierten Differenzsignals, um ein expandiertes Differenzsignal zu erzeugen; einen Addierer zum Addieren des expandierten Differenzsignals zum Vorhersagebildsignal, um ein decodiertes Bildsignal zu erzeugen; eine Auffülleinrichtung zum Durchführen einer Auffüllung gemäß dem Abtastidentifizierer durch Umordnen von Bildpunkten in einem durch das decodierte Bildsignal erzeugten Bildraum und zum Ersetzen von Werten der unwesentlichen Bildpunkte im Bildraum, wobei die Bildpunkte mit durch ein vorbestimmtes Verfahren erzeugten Auffüllbildpunktwerten umgeordnet worden sind; und eine Vorhersagebildsigrialerzeugungseinrichtung zum Erzeugen des Vorhersagebildsignals aus dem aufgefüllten decodierten Bildsignal entsprechend dem Abtastidentifizierer.
In der so konstruierten digitalen Bildverarbeitungsvorrichtung umfaßt der Vorhersageabschnitt zum Erzeugen des Vorhersagebildsignals des digitalen Bildsignals die Auffülleinrichtung zum Durchführen des Auffüllens der Bildpunktwerte des decodierten Bildsignals, in welchem das codierte Differenzsignal in seinem Differentialcodierungsprozeß lokal decodiert worden ist, und wird verwendet für die Erzeugung des Vorhersagebildsignals aus dem aufgefüllten decodierten Bildsignal, wobei die Auffülleinrichtung zuerst die Bildpunktwerte des decodierten Bildsignals umordnet und anschließend die Werte der unwesentlichen Bildpunkte des decodierten Bildsignals durch die vorgeschriebenen Auffüllbildpunktwerte ersetzt. Wenn somit die Differentialdecodierung des digitalen Bildsignals des verschachtelt abgetasteten Bildes oder des Bildes eines Streifenmusters mit einer willkürlichen Form durchgeführt wird, ist es möglich, im Auffüllprozeß das Einführen hochfrequenter Komponenten in das Vorhersagebildsignal für die Verwendung durch die Differentialcodierung zu vermeiden, wobei die Differentialcodierung am verschachtelt abgetasteten Bild vorgenommen werden kann, während die Verschlechterung der Codierungseffizienz, die aus dem Auffüllen resultiert, unterdrückt wird.
Gemäß Anspruch 11 der vorliegenden Erfindung umfaßt in der Bildverarbeitungsvorrichtung nach Anspruch 10 der Codierungsabschnitt ferner eine Auffülleinrichtung zum Durchführen des Auffüllens des Differenzbildsignals gemäß dem Abtastidentifizierer durch Umordnen der Bildpunkte in den Bildraum, der vom Differenzbildsignal gebildet wird, und Ersetzen der Werte der unwesentlichen Bildpunkte im Bildraum dort, wo die Bildpunkte umgeordnet worden sind, durch Auffüllbildpunktwerte, die durch ein vorgeschriebenes Verfahren erzeugt werden, wobei die Datenkompressionseinrichtung eine Informationskompression des aufgefüllten Differenzbildsignals durchführt, um ein komprimiertes Differenzbildsignal zu erzeugen.
In der so konstruierten Bildverarbeitungsvorrichtung werden die Bildpunktwerte des Differenzbildsignals, das in die Datenkompressionseinrichtung eingegeben wird, umgeordnet, woraufhin das Auffüllen durchgeführt wird durch Ersetzen der Werte der unwesentlichen Bildpunkte des Differenzsignals durch vorgeschriebene Auffüllbildpunktwerte. Somit ist es möglich, das Einführen von hochfrequenten Komponenten in das in die Datenkompressionseinrichtung eingegebene Bildsignal zu vermeiden. Wenn die Differentialcodierung des digitalen Bildsignals des verschachtelt abgetasteten Bildes oder des Bildes eines Streifenmusters mit willkürlicher Form durchgeführt wird, wird als Ergebnis die Signalformtransformation, wie z. B. die DCT, mit hoher Effizienz durchgeführt.
Gemäß Anspruch 12 der vorliegenden Erfindung wird eine Bildverarbeitungsvorrichtung zur Durchführung einer Bilddecodierung geschaffen, die umfaßt: einen Wiedergabeabschnitt zum Wiedergeben eines codierten Bildsignals, bei dem ein digitales Bildsignal durch die Verwendung eines Vorhersagebildsignals des digitalen Bildsignals codiert wurde, und zum Ausgeben eines wiedergegebenen Bildsignals, und einen Vorhersageabschnitt zum Erzeugen des Vorhersagebildsignals aus dem wiedergegebenen Bildsignal, wobei der Wiedergabeabschnitt umfaßt: eine Datenanalyseeinheit zum Analysieren des codierten Bildsignals, um ein komprimiertes Differenzsignal des digitalen Bildsignals und einen Abtastidentifizierer, der die Korrelation zwischen den Bildpunktwerten des digitalen Bildsignals angibt, aus dem codierten Bildsignal zu extrahieren; eine Datenexpansionseinrichtung zum Expandieren des komprimierten Differenzsignals, um ein expandiertes Bildsignal zu erzeugen; und einen Addierer zum Addieren des expandierten Differenzsignals zum Vorhersagesignal, um das wiedergegebene Bildsignal zu erzeugen; und im Vorhersageabschnitt, Verwenden zumindest des wiedergegebenen Bildsignals und/oder des Vorhersagebildsignals, das aus dem wiedergegebenen Bildsignal erhalten worden ist, als ein aufzufüllendes Signal, wobei das Auffüllen für das aufzufüllende Signal gemäß dem Abtastidentifizierer durchgeführt wird durch Umordnen von Bildpunkten in einem durch das aufzufüllende Signal gebildeten Bildraum und Ersetzen von Werten unwesentlicher Bildpunkte in den Bildraum, wobei die Bildpunkte mit durch ein vorbestimmtes Verfahren erzeugten Auffüllbildpunktwerten umgeordnet worden sind.
In der so konstruierten Bildverarbeitungsvorrichtung umfaßt der Vorhersageabschnitt zum Erzeugen des Vorhersagebildsignals des digitalen Bildsignals eine Auffülleinrichtung zum Durchführen des Auffüllens der Bildpunktwerte des wiedergegebenen Bildsignals oder des Vorhersagebildsignals des digitalen Bildsignals als das aufzufüllende Signal, wobei der Auffüllprozeß die Bildpunktwerte, des aufzufüllendes Signals umordnet und anschließend die Werte der unwesentlichen Bildpunkte des aufzufüllenden Signals durch vorgeschriebene Auffüllbildpunktwerte ersetzt. Wenn somit ein codiertes Differenzsignal des verschachtelt abgetasteten Bildes oder des Bildes eines Streifenmusters mit einer willkürlichen Form decodiert wird, ist es möglich, das Einführen von hochfrequenten Komponenten in das Vorhersagebildsignal für die Verwendung durch die Differentialdecodierung zu vermeiden. Als Ergebnis wird eine Differentialdecodierung verwirklicht, die an die Differentialcodierung angepaßt ist, was die Verschlechterung der Codierungseffizienz infolge des Auffüllens der Bildpunktwerte unterdrückt.
Gemäß Anspruch 13 der vorliegenden Erfindung umfaßt in der Bildverarbeitungsvorrichtung nach Anspruch 12 der Vorhersageabschnitt ferner eine Auffülleinrichtung zum Durchführen des Auffüllens des wiedergegebenen Bildsignals vollbildweise oder halbbildweise entsprechend dem Abtastidentifizierer, sowie einen Vollbildspeicher zum Speichern eines aufgefüllten wiedergegebenen Signals, in welchem das wiedergegebene Bildsignal aufgefüllt worden ist, und gibt das aufgefüllte wiedergegebene Bildsignal, das im Vollbildspeicher gespeichert worden ist, an den Wiedergabeabschnitt als Vorhersagebildsignal aus.
In der so konstruierten Bildverarbeitungsvorrichtung wird das Auffüllen des wiedergegebenen Bildsignals entsprechend dem Abtastidentifizierer vollbildweise oder halbbildweise durchgeführt. Insbesondere wenn die Differentialdecodierung des digitalen Bildsignals des verschachtelt abgetasteten Bildes durchgeführt wird, ist es somit möglich, das Einführen hochfrequenter Komponenten in das Vorhersagebildsignal zu vermeiden, das aus einem wiedergegebenen Bildsignal im Auffüllprozeß erhalten wird.
Gemäß Anspruch 14 der vorliegenden Erfindung umfaßt in der Bildverarbeitungsvorrichtung nach Anspruch 12 der Vorhersageabschnitt ferner einen Vollbildspeicher zum Speichern des wiedergegebenes Bildsignals, und eine Auffülleinrichtung zum Durchführen des Auffüllens des Vorhersagebildsignals, das aus den wiedergegebenen Bildsignalen extrahiert worden ist, die im Vollbildspeicher vollbildweise oder halbbildweise gespeichert sind, entsprechend dem Abtastidentifizierer, und gibt das aufgefüllte Vorhersagebildsignal an den Wiedergabeabschnitt aus.
In der so konstruierten Bildverarbeitungsvorrichtung wird das Auffüllen des Vorhersagebildsignals entsprechend dem Abtastidentifizierer vollbildweise oder halbbildweise durchgeführt. Insbesondere wenn die Differentialdecodierung des digitalen Bildsignals des verschachtelt abgetasteten Bildes durchgeführt wird, ist es somit möglich, das Einführen hochfrequenter Komponenten in das Vorhersagebildsignal im Prozeß zum Auffüllen des Vorhersagebildsignals zu vermeiden. Da außerdem das Auffüllen nur für das aus dem Vollbildspeicher geholte Vorhersagesignal durchgeführt wird, kann die Menge von Signalen, die im Vorhersageabschnitt aufzufüllen sind, reduziert werden.
Gemäß Anspruch 15 der vorliegenden Erfindung wird eine Bildverarbeitungsvorrichtung zum Durchführen einer Bilddecodierung geschaffen, die umfaßt: einen Wiedergabeabschnitt zum Wiedergeben eines codierten Bildsignals, in dem ein digitales Bildsignal durch die Verwendung eines Vorhersagebildsignals des digitalen Bildsignals codiert worden ist, und Ausgeben eines wiedergegebenen Bildsignals, sowie einen Vorhersageabschnitt zum Erzeugen des Vorhersagebildsignals aus dem wiedergegebenen Bildsignal, wobei der Wiedergabeabschnitt umfaßt: eine Datenanalyseeinheit zum Analysieren des codierten Bildsignals, um ein komprimiertes Differenzsignal des digitalen Bildsignals und einen Abtastidentifizierer, der die Korrelation zwischen den Bildpunktwerten des digitalen Bildsignals angibt, aus dem codierten Bildsignal zu extrahieren; eine Datenexpansionseinrichtung zum Expandieren des komprimierten Differenzsignals, um ein expandiertes Differenzsignal zu erzeugen; und einen Addierer zum Addieren des expandierten Differenzsignals zum Vorhersagebildsignal, um das wiedergegebene Bildsignal zu erzeugen, wobei der Vorhersageabschnitt umfaßt: eine Auffülleinrichtung zum Durchführen eines Auffüllens des wiedergegebenen Bildsignals gemäß dem Abtastidentifizierer durch Ersetzen von Werten unwesentlicher Bildpunkte in einem durch das wiedergegebene Bildsignal gebildeten Bildraum durch Ausfüllbildpunktwerte, die aus Werten von wesentlichen Bildpunkten erzeugt werden, die keine zu den unwesentlichen Bildpunkten benachbarten Bildpunkte sind; und eine Umordnungseinrichtung zum Umordnen von Bildpunkten in einem durch das aufgefüllte wiedergegebene Bildsignal gebildeten Bildraum entsprechend dem Abtastidentifizierer. Wenn die Differentialdecodierung des digitalen Bildsignals durchgeführt wird, ist es somit möglich, das Auffüllen der Bildpunktwerte im ursprünglichen Bildraum durchzuführen, wenn eine geringe Korrelation der Bildpunktwerte zwischen benachbarten Bildpunkten oder Abtastzeilen vorliegt, während die Einführung hochfrequenter Komponenten in das Bildsignal im ursprünglichen Bildraum unterdrückt wird.
Gemäß Anspruch 16 der vorliegenden Erfindung wird ein Datenaufzeichnungsmedium geschaffen, das ein Programm speichert, das einen Computer veranlaßt, das Auffüllen von Bildpunktwerten eines digitalen Bildsignals durchzuführen, welches einen ursprünglichen Bildraum bildet, der ein Bild mit einer willkürlichen Form umfaßt und wesentliche Bildpunkte und unwesentliche Bildpunkte umfaßt, wobei das Programm den Computer veranlaßt, das Auffüllen der Bildpunktwerte entsprechend dem digitalen Bildauffüllverfahren nach Anspruch 1 durchzuführen.
Durch Laden des im Datenaufzeichnungsmedium gespeicherten Programms, das so konstruiert ist, in den Computer wird das Auffüllen vom Computer implementiert ohne Beeinträchtigung der Codierungseffizienz, wenn die Differentialcodierung oder die Differentialdecodierung des verschachtelt abgetasteten Bildes oder dergleichen durchgeführt wird.
Gemäß Anspruch 17 der vorliegenden Erfindung wird ein Datenaufzeichnungsmedium geschaffen, das ein Programm speichert, das einen Computer veranlaßt, das Auffüllen von Bildpunktwerten eines digitalen Bildsignals durchzuführen, welches einen ursprünglichen Bildraum bildet, der ein Bild mit einer willkürlichen Form umfaßt und wesentliche Bildpunkte und unwesentliche Bildpunkte umfaßt, wobei das Programm den Computer veranlaßt, das Auffüllen der Bildpunktwerte entsprechend dem digitalen Bildauffüllverfahren nach Anspruch 7 durchzuführen.
Durch Laden des im Datenaufzeichnungsmedium gespeicherten Programms, das so konstruiert ist, in den Computer wird das Auffüllen vom Computerimplementiert ohne Beeinträchtigung der Codierungseffizienz, wenn die Differentialcodierung oder die Differentialdecodierung des verschachtelt abgetasteten Bildes durchgeführt wird.
Gemäß Anspruch 18 der vorliegenden Erfindung wird ein Datenaufzeichnungsmedium geschaffen, das ein Programm speichert, das einen Computer veranlaßt, das Auffüllen von Bildpunktwerten eines digitalen Bildsignals durchzuführen, welches einen ursprünglichen Bildraum bildet, der ein Bild mit einer willkürlichen Form umfaßt und wesentliche Bildpunkte und unwesentliche Bildpunkte umfaßt, wobei das Programm den Computer veranlaßt, das Auffüllen der Bildpunktwerte entsprechend dem digitalen Bildauffüllverfahren nach Anspruch 8 durchzuführen.
Durch Laden des im Datenaufzeichnungsmedium gespeicherten Programms, das so konstruiert ist, in den Computer wird das Auffüllen vom Computer implementiert ohne Beeinträchtigung der Codierungseffizienz, wenn die Differentialcodierung oder die Differentialdecodierung des verschachtelt abgetasteten Bildes durchgeführt wird.
Gemäß Anspruch 19 der vorliegenden Erfindung wird ein Datenaufzeichnungsmedium geschaffen, das ein Programm speichert, das einen Computer veranlaßt, eine Bildsignalcodierung durchzuführen, wobei das Programm den Computer veranlaßt, eine Differentialcodierung eines digitalen Bildsignals mittels der Bildverarbeitungsvorrichtung des Anspruchs 10 durchzuführen.
Durch Laden des im Datenaufzeichnungsmedium gespeicherten Programms, das so konstruiert ist, in den Computer wird die Differentialcodierung des verschachtelt abgetasteten Bildes oder dergleichen mittels Software implementiert, ohne Beeinträchtigung der Codierungseffizienz, die aus dem Auffüllen resultiert.
Gemäß Anspruch 20 der vorliegenden Erfindung wird ein Datenaufzeichnungsmedium geschaffen, das ein Programm speichert, das einen Computerveranlaßt, eine Bildsignaldecodierung durchzuführen, wobei das Programm den Computer veranlaßt, eine Differentialdecodierung eines digitalen Bildsignals mittels der Bildverarbeitungsvorrichtung des Anspruchs 12 durchzuführen.
Durch Laden des im Datenaufzeichnungsmedium gespeicherten Programms, das so konstruiert ist, wird die Differentialdecodierung des verschachtelt abgetasteten Bildes, die an die Differehtialcodierung angepaßt ist, ohne Beeinträchtigung der Codierungseffizienz, die aus dem Auffüllen resultiert, mittels Software implementiert. Gemäß Anspruch 21 der vorliegenden Erfindung wird ein
Datenaufzeichnungsmedium geschaffen, das ein Programm speichert, das einen Computer veranlaßt, eine Bildsignaldecodierung durchzuführen, wobei das Programm den Computer veranlaßt, eine Differentialdecodierung eines digitalen Bildsignals mittels der Bildverarbeitungsvorrichtung des Anspruchs 15 durchzuführen.
Durch Laden des im Datenaufzeichnungsmedium gespeicherten Programms, das so konstruiert ist, in den Computer wird die Differentialdecodierung des verschachtelt abgetasteten Bildes oder dergleichen, die an die Differentialcodierung angepaßt ist, ohne Beeinträchtigung der Codierungseffizienz, die aus der Codierung resultiert, mittels Software implementiert.

Kurzbeschreibung der Zeichnungen

Fig. 1 ist ein Schaubild, das einen Ablauf der Bildverarbeitung in einem digitalen Bildauffüllverfahren gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
Fig. 2 ist ein Schaubild, das die Neuabtastung im digitalen Bildauffüllverfahren der ersten Ausführungsform zeigt.
Fig. 3(a) und 3(b) sind Schaubilder, die das Auffüllen der Bildpunktwerte im digitalen Bildverfahren der ersten Ausführungsform zeigen, wobei Fig. 3(c) ein Schaubild ist, das die Verschmelzung der Bildpunkte im digitalen Bildauffüllverfahren gemäß der Modifikation 1 der ersten Ausführungsform zeigt.
Fig. 4 ist ein Schaubild, das einen Ablauf der Bildverarbeitung im digitalen Bildauffüllverfahren gemäß der Modifikation 1 der ersten Ausführungsform der vorliegenden Erfindung zeigt.
Fig. 5 ist ein Schaubild, das einen Ablauf der Bildverarbeitung im digitalen Bildauffüllverfahren gemäß der Modifikation 2 der ersten Ausführungsform der vorliegenden Erfindung zeigt.
Fig. 6 ist ein Schaubild, das einen Ablauf der Bildverarbeitung im digitalen Bildauffüllverfahren gemäß der Modifikation 3 der ersten Ausführungsform der vorliegenden Erfindung zeigt.
Fig. 7 ist ein Schaubild, das das Auffüllen von Bildpunktwerten im digitalen Bildauffüllverfahren gemäß der Modifikation 3 der ersten Ausführungsform zeigt.
Fig. 8(a) und 8(b) sind Schaubilder, die das Auffüllen von Bildpunktwerten in einem digitalen Bildauffüllverfahren gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigen.
Fig. 9 ist ein Blockschaltbild zur Erläuterung einer Bildcodierungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung, wobei Fig. 9(a) eine Gesamtstruktur der Bildcodierungsvorrichtung zeigt und Fig. 9(b) eine Struktur eines Auffüllabschnitts in der Bildcodierungsvorrichtung zeigt.
Fig. 10(a)-10(d) sind Schaubilder zur Erläuterung des Auffüllens in der Bildcodierungsvorrichtung der dritten Ausführungsform, wobei Fig. 10(a), 10(b) und 10(c) die Umordnung von Bildpunkten, die Vollbildauffüllung, die Halbbildauffüllung und die Verschmelzung für die Wiederherstellung zeigen.
Fig. 11 ist ein Schaubild, das eine Datenstruktur eines codierten Bildsignals zeigt, das von der Bildcodierungsvorrichtung der dritten Ausführungsform ausgegeben wird.
Fig. 12 ist ein Blockschaltbild, das eine Bildcodierungsvorrichtung gemäß einer Modifikation 1 der dritten Ausführungsform zeigt.
Fig. 13 ist ein Blockschaltbild zur Erläuterung der Bildcodierungsvorrichtung gemäß einer Modifikation 2 der dritten Ausführungsform, wobei Fig. 13(a) eine Gesamtstruktur der Bildcodierungsvorrichtung zeigt und Fig. 13(b) einen Auffüllabschnitt der Bildcodierungsvorrichtung zeigt.
Fig. 14 ist ein Blockschaltbild, das eine Bilddecodierungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt.
Fig. 15 ist ein Blockschaltbild zur Erläuterung einer Bilddecodierungsvorrichtung gemäß einer Modifikation 1 der vierten Ausführungsform.
Fig. 16 ist ein Blockschaltbild, das eine Bilddecodierungsvorrichtung gemäß einer Modifikation 2 der vierten Ausführungsform zeigt.
Fig. 17(a), 17(b) und 17(d) sind Schaubilder zur Erläuterung eines Datenaufzeichnungsmediums, das ein Programm enthält für die Implementierung der Bildverarbeitung durch das digitale Bildauffüllverfahren bzw. in der Bildverarbeitungsvorrichtung in einem Computersystem.
Fig. 18 ist ein Schaubild, das das Ersetzen der Bildpunktwerte im digitalen Bildauffüllverfahren des Standes der Technik zeigt.
Fig. 19 ist ein Schaubild, das die Mittelung der Bildpunktwerte im digitalen Bildauffüllverfahren des Standes der Technik zeigt.
Fig. 20 ist ein Schaubild, das die Neuabtastung der Bildpunktwerte im digitalen Bildauffüllverfahren des Standes der Technik zeigt.

Beste Ausführungsform der Erfindung

Im folgenden werden mit Bezug auf die Fig. 1 bis 17 bevorzugte Ausführungsformen der vorliegenden Erfindung beschrieben.

Ausführungsform 1

Die Fig. 1-3 sind Schaubilder zur Erläuterung eines digitalen Bildauffüllverfahrens gemäß einer ersten Ausführungsform der vorliegenden Erfindung. Fig. 1 zeigt den Ablauf der Verarbeitung eines Bildsignals im Auffüllverfahren.
Das digitale Bildauffüllverfahren der ersten Ausführungsform, wie in Fig. 1 gezeigt, umfaßt die Neuabtastung eines ursprünglichen Bildraums, der von einem abgetasteten eingegebenen Bildsignal gebildet wird, um mehrere kleine Bildräume auszubilden (Schritt S12), und das Durchführen des Auffüllens jedes kleinen Bildraums durch Ersetzen der Abtastwerte unwesentlicher Bildpunkte durch Auffüllbildpunktwerte, die durch ein vorgeschriebenes Verfahren erhalten werden.
Fig. 2 zeigt schematisch die Neuabtastung gemäß dem digitalen Bildauffüllverfahren. Ein ursprünglicher Bildraum 301, der dem Eingangsbildsignal zugeordnet ist, umfaßt 8 · 8 Bildpunkte, die wesentliche Bildpunkte mit wesentlichen Abtastwerten und unwesentliche Bildpunkte mit unwesentlichen Abtastwerten sind. In Fig. 2 ist jeder Bildpunkt durch ein Quadrat dargestellt. Die wesentlichen Bildpunkte sind Bildpunkte (z. B. die Bildpunkte 303 und 304) der schraffierten Quadrate, während die unwesentlichen Bildpunkte die Bildpunkte (z. B. Bildpunkt 302) sind, die nicht schraffiert sind. Die Zahlen der jeweiligen Quadrate zeigen die entsprechenden Abtastwerte an.
Die kleinen Bildräume 401-404 resultieren aus der Neuabtastung und umfassen jeweils 4 · 4 Bildpunkte. In dieser Ausführungsform umfaßt der kleine Bildraum 401 Bildpunkte, die dort positioniert sind, wo sich ungeradzahlige Bildpunktspalten und ungeradzahlige Bildpunktzeilen im ursprünglichen Bildraum 301 schneiden. Der kleine Bildraum 403 umfaßt Bildpunkte, die dort positioniert sind, wo sich geradzahlige Bildpunktspalten und ungeradzahlige Bildpunktzeilen im ursprünglichen Bildraum 301 schneiden. Der kleine Bildraum 402 umfaßt Bildpunkte, die dort positioniert sind, wo sich ungeradzahlige Bildpunktspalten und geradzahlige Bildpunktzeilen im ursprünglichen Bildraum 301 schneiden. Der kleine Bildraum 404 umfaßt Bildpunkte, die dort positioniert sind, wo sich geradzahlige Bildpunktspalten und geradzahlige Bildpunktreihen im ursprünglichen Bildraum 301 schneiden.
Fig. 3 zeigt schematisch das Auffüllen im digitalen Bildauffüllverfahren der ersten Ausführungsform. Die kleinen Bildräume 401 und 402 werden aufgefüllt wie im Fall des Auffüllens des Standes der Technik, um einen kleinen Bildraum 405 auszubilden (siehe Fig. 3(a)), während die kleinen Bildräume 402 und 404 wie im Fall des Auffüllens des Standes der Technik aufgefüllt werden, um einen kleinen Bildraum 406 auszubilden (siehe Fig. 3(b)).
Im folgenden werden die Operation und die Wirkungen beschrieben.
Im Auffüllverfahren der ersten Ausführungsform wird im Schritt S11 ein abgetastetes digitales Bildsignal eingegeben. In dieser Ausführungsform sei angenommen, daß das digitale Bildsignal einem Objekt entspricht, d. h. einem Bild mit einer willkürlichen Form, und den ursprünglichen Bildraum 301 bildet, der in Fig. 2 gezeigt ist und das Objekt enthält.
Es ist zu beachten, daß das digitale Bildsignal dem verschachtelt abgetasteten Bild (verschachteltes Bild) oder dem nicht verschachtelt abgetasteten Bild (progressives Bild) entsprechen kann. Wenn das digitale Bildsignal dem progressiven Bild entspricht, entspricht z. B. ein Bild eines Objekts eines horizontalen Streifenmusters dem Bild im ursprünglichen Bildraum 301 in Fig. 2. Wenn andererseits das digitale Bildsignal dem verschachtelten Bild entspricht, entspricht ein Bild, das sich deutlich bewegt, dem Bild des ursprünglichen Bildraums 301. In diesem verschachtelten Bild, wie in Fig. 2 gezeigt, scheint das Objekt manchmal eine Form von zwei Umrissen aufzuweisen.
Außerdem kann der ursprüngliche Bildraum 301 ein Bereich des Objekts (Objektbereich) sein, der selbst das Objekt umfaßt, oder kann einer von mehreren Bildräumen (Blöcken) sein, die jeweils eine vorgeschriebene Anzahl von Bildpunkten (z. B. N · M Abtastwerte) umfaßt, in die der Objektbereich unterteilt ist. In dieser Ausführungsform wird der Bequemlichkeit halber angenommen, daß die digitalen Bildsignale der Objektbereiche im Schritt S11 vollbildweise sequentiell eingegeben werden.
Im Schritt S12 wird der ursprüngliche Bildraum 301 des digitalen Bildsignals erneut abgetastet, um mehrere kleine Bildräume 401-404 zu erzeugen. Genauer wird jeder zweite Bildpunkt in Horizontalrichtung extrahiert und jeder Bildpunkt auf jeder zweiten Bildpunktzeile in Vertikalrichtung im ursprünglichen Bildraum 301 extrahiert, um die vier kleinen Bildräume 401-404 zu erzeugen.
Diese kleinen Bildräume werden im folgenden genauer beschrieben. Bildpunkte, bei denen sich ungeradzahlige Bildpunktspalten und ungeradzahlige Bildpunktzeilen im ursprünglichen Bildraum 301 schneiden, werden extrahiert, um den kleinen Bildraum 401 zu bilden, während Bildpunkte, bei denen sich geradzahlige Bildpunktspalten und ungeradzahlige Bildpunktzeilen schneiden, extrahiert werden, um den kleinen Bildraum 403 zu bilden. Ferner werden Bildpunkte, bei denen sich ungeradzahlige Bildpunktspalten und geradzahlige Bildpunktzeilen im ursprünglichen Bildraum 301 schneiden, extrahiert, um den kleinen Bildraum 402 zu bilden, während Bildpunkte, bei denen sich geradzahlige Bildpunktspalten und geradzahlige Bildpunktzeilen im ursprünglichen Bildraum 301 schneiden, extrahiert werden, um den kleinen Bildraum 404 zu bilden.
Im anschließenden Schritt S13 wird jeder der kleinen Bildräume 401 bis 404 aufgefüllt. Der Auffüllprozeß dieser Ausführungsform umfaßt die ersten bis dritten Schritte S1 bis S3 des Auffüllverfahrens des Standes der Technik (im folgenden bezeichnet als erste bis dritte Auffüllschritte), die in den Fig. 18 und 19 gezeigt sind.
Im ersten Auffüllschritt werden die Abtastwerte der unwesentlichen Bildpunkte durch Abtastwerte der wesentlichen Bildpunkte neben den unwesentlichen Bildpunkten in Horizontalrichtung in der Reihenfolge von innen nach außen im kleinen Bildraum ersetzt, woraufhin die Abtastwerte der unwesentlichen Bildpunkte ersetzt werden durch Abtastwerte der wesentlichen Bildpunkte oder der aufgefüllten Bildpunkte (unwesentliche Bildpunkte, deren Abtastwerte ersetzt worden sind) neben diesen in Vertikalrichtung in der Reihenfolge von innen nach außen im kleinen Bildraum, für die der horizontale Ersetzungsprozeß ausgeführt worden ist.
Im zweiten Auffüllschritt werden in umgekehrter Reihenfolge zum ersten Auffüllschritt die Abtastwerte der unwesentlichen Bildpunkte ersetzt durch Abtastwerte der wesentlichen Bildpunkte neben den unwesentlichen Bildpunkte in Vertikalrichtung in der Reihenfolge von innen nach außen im kleinen Bildraum, woraufhin die Abtastwerte der unwesentlichen Bildpunkte ersetzt werden durch die Abtastwerte der wesentlichen Bildpunkte oder der aufgefüllten Bildpunkte neben diesen in Horizontalrichtung in der Reihenfolge von innen nach außen im kleinen Bildraum, für die der vertikale Ersetzungsprozeß durchgeführt worden ist.
Im dritten Auffüllschritt werden die Abtastwerte der Bildpunkte im kleinen Bildraum, die aus dem Ersetzungsprozeß im ersten Auffüllschritt erhalten worden sind, und die Abtastwerte der Bildpunkt an den entsprechenden Positionen im kleinen Bildraum, die aus dem Ersetzungsprozeß im zweiten Auffüllschritt erhalten worden sind, gemittelt, um Abtastwerte der Bildpunkte zu erhalten, die den kleinen Bildraum bilden.
Als Ergebnis dieses Auffüllens werden die kleinen Bildräume 401 und 403 entsprechend zu einem kleinen Bildraum 405 geändert, der Bildpunkte mit den in Fig. 3(a) gezeigten Abtastwerten umfaßt, während die kleinen Bildräume 402 und 404 entsprechend zu einem kleinen Bildraum 406 geändert werden, der Bildpunkte mit den in Fig. 3(b) gezeigten Abtastwerten umfaßt.
Beim Vergleichen dieser kleinen Bildräume, die aus dem Auffüllen des ungeradzahligen Halbbildraums 381 und des geradzahligen Halbbildraums 382 (siehe Fig. 20) resultieren, die mit dem Verfahren des Standes der Technik erhalten werden, sind die Werte der Bildpunkte in den kleinen Bildräumen 405 und 406 (siehe Fig. 3) gleichmäßig, was zeigt, daß keine Hochfrequenzkomponenten in die Bildsignale dieser kleinen Bilder eingeführt worden sind.
Im abschließenden Schritt S14 wird beurteilt, ob der neu abgetastete ursprüngliche Bildraum einem endgültigen Vollbild des digitalen Bildsignals entspricht. Wenn festgestellt wird, daß der ursprüngliche Bildraum dem endgültigen Vollbild entspricht, ist der Prozeß in den Schritten S11-S14 abgeschlossen (Schritt S15), während dann, wenn festgestellt wird, daß der ursprüngliche Bildraum nicht dem endgültigen Vollbild entspricht, die Schritte S11-S14 für einen ursprünglichen Bildraum durchgeführt werden, der einem nachfolgenden Vollbild entspricht.
Somit werden in der ersten Ausführungsform jeder zweite Bildpunkt in Horizontalrichtung und die Bildpunkte auf jeder zweiten Bildpunktzeile in Vertikalrichtung des ursprünglichen Bildraums 301 extrahiert, der dem Eingangsbildsignal entspricht, woraufhin die extrahierten mehreren Bildpunkte umgeordnet werden, um vier kleine Bildräume 401404 zu bilden, für die das Auffüllen der Bildpunktwerte durchgeführt wird. Das Auffüllen wird somit für mehrere kleine Bildräume durchgeführt, in denen eine hohe Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen vorliegt, statt für einen ursprünglichen Bildraum, in welchem eine geringe Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen vorliegt. Dies führt zu aufgefüllten kleinen Bildräumen, in denen eine hohe Korrelation der Bildpunktwerte vorliegt. Somit ist es möglich, das Einführen hochfrequenter Komponenten in das digitale Bildsignal des verschachtelten Bildes im Prozeß für das Auffüllen des verschachtelten Bildes, das sich deutlich bewegt, zu vermeiden, wodurch es möglich ist, die Differentialcodierung oder Differentialdecodierung des verschachtelten Bildes oder dergleichen mit hoher Codierungseffizienz durchzuführen, während eine Verschlechterung der Codierungseffizienz, die sich aus dem Auffüllen ergibt, unterdrückt wird.
Während in der ersten Ausführungsform der ursprüngliche Bildraum dem Objektbereich entspricht, der das Objekt umfaßt, kann der ursprüngliche Bildraum einem der Blöcke als Codierungseinheiten entsprechen, in die der Objektbereich unterteilt ist. In diesem Fall wird im Schritt S14 entschieden, ob der ursprüngliche Bildraum einen endgültigen Block des Objektbereiches entspricht. Wenn festgestellt wird, daß der ursprüngliche Bildraum nicht dem endgültigen Block entspricht, werden die Schritte S12-S14 für einen ursprünglichen Bildraum durchgeführt, der einem nachfolgenden Block entspricht, während dann, wenn festgestellt wird, daß der ursprüngliche Bildraum dem endgültigen Block entspricht, entschieden wird, ob der ursprüngliche Bildraum einem endgültigen Vollbild entspricht, und wobei entsprechend diesem Entscheidungsergebnis entschieden wird, ob der Prozeß abgeschlossen ist oder die Schritte S12-S14 für einen ursprünglichen Bildraum durchgeführt werden, der einem ersten Block eines nachfolgenden Vollbildes entspricht.
Obwohl in der ersten Ausführungsform der Auffüllprozeß die ersten bis dritten Auffüllschritte umfaßt, können außerdem nur der ersten oder der zweite Auffüllschritt für das Auffüllen durchgeführt werden.
Obwohl ferner in der ersten Ausführungsform als Auffüllwerte zum Ersetzen der Abtastwerte der unwesentlichen Bildpunkte im kleinen Bildraum die Abtastwerte der wesentlichen Bildpunkte rieben den unwesentlichen Bildpunkten verwendet werden, können als Auffüllwert ein Mittelwert der Abtastwerte der mehreren wesentlichen Bildpunkte im kleinen Bildraum, oder ein Mittelwert der Abtastwerte der mehreren wesentlichen Bildpunkte, die am Rand eines Objekts im kleinen Bildraum angeordnet sind, verwendet werden.
Obwohl ferner in der ersten Ausführungsform jeder zweite Bildpunkt in Horizontalrichtung und die Bildpunkte auf jeder zweiten Zeile in Vertikalrichtung des ursprünglichen Bildraums extrahiert werden, der dem digitalen Bildsignal entspricht, können im allgemeinen die Bildpunkte jedes (N-1)-ten Bildpunkts (N: positive ganze Zahl) in Horizontalrichtung und jede (N+1)-te Bildpunktzeile in Vertikalrichtung des ursprünglichen Bildraums extrahiert werden. Die Intervalle, in denen Bildpunkte extrahiert werden, können sich adaptiv ändern, in Abhängigkeit von einem Streifenmuster des von einem digitalen Bildsignal gebildeten Bildes oder dergleichen.
Im folgenden werden die Modifikationen 1-3 der ersten Ausführungsform beschrieben.

Modifikation 1 der ersten Ausführungsform

Fig. 4 ist ein Schaubild zur Erläuterung eines digitalen Bildauffüllverfahrens gemäß einer Modifikation 1 der ersten Ausführungsform der vorliegenden Erfindung und zeigt den Ablauf der Bildverarbeitung im Auffüllverfahren.
In diesem digitalen Bildauffüllverfahren der Modifikation 1 der ersten Ausführungsform wird der Prozeß zum Verschmelzen der Bildpunkte im Schritt S16 zu den Schritten S11-S15 im digitalen Auffüllverfahren der ersten Ausführungsform der Fig. 1 hinzugefügt.
Im Schritt S16 werden alle Bildpunkte in den kleinen Bildräumen 405 und 406, die im Schritt S13 aufgefüllt worden sind so umgeordnet, daß sie die gleiche Anordnung wie der ursprüngliche Bildraum aufweisen, der dem eingegebenen digitalen Bildsignal entspricht, um einen verschmolzenen Bildraum 407 zu bilden, der so groß ist wie der ursprüngliche Bildraum 301 (Fig. 3(c).
Genauer sind die Bildpunkte im kleinen Bildraum 405, der durch Auffüllen des kleinen Bildraums 401 erhalten wird, dort angeordnet, wo ungeradzahlige Bildpunktspalten und ungeradzahlige Bildpunktzeilen sich im verschmolzenen Bildraum schneiden, der doppelt so groß ist wie der kleine Bildraum, während die Bildpunkte im kleinen Bildraum 405, die durch Auffüllen des kleinen Bildraums 403 erhalten werden, dort angeordnet sind, wo sich die geradzahligen Bildpunktspalten und die ungeradzahligen Bildpunktzeilen im verschmolzenen Bildraum schneiden. Ferner sind die Bildpunkte im kleinen Bildraum 406, der erhalten wird durch Auffüllen des kleinen Bildraums 402 dort angeordnet, wo sich die ungeradzahligen Bildpunktspalten und die geradzahligen Bildpunktzeilen im verschmolzenen Bildraum 407 schneiden, während die Bildpunkte im kleinen Bildraum 406, der erhalten wird durch Auffüllen des kleinen Bildraums 404, dort angeordnet sind, wo sich die geradzahligen Bildpunktspalten und die geradzahligen Bildpunktzeilen im verschmolzenen Bildraum schneiden.
In dieser so konstruierten Modifikation werden jeder zweite Bildpunkt in Horizontalrichtung und die Bildpunkte auf jeder zweiten Bildpunktzeile in Vertikalrichtung des ursprünglichen Bildraums 301, der dem eingegebenen digitalen Bildsignal entspricht, extrahiert, wobei die extrahierten mehreren Bildpunkte umgeordnet werden, um die vier kleinen Bildräume 401-404 zu bilden, für die das Auffüllen der Bildpunktwerte durchgeführt wird, woraufhin die Bildpunkte in den aufgefüllten kleinen Bildräumen 405 und 406 umgeordnet werden, um den verschmolzenen Bildraum 407 mit der gleichen Bildpunktanordnung wie der ursprüngliche Bildraum 301 zu bilden. Somit wird die Bildverarbeitung, wie z. B. die Codierung, für den aufgefüllten verschmolzenen Raum in der gleichen Weise durchgeführt, in der ein unausgefüllter ursprünglicher Bildraum verarbeitet wird, ohne die Notwendigkeit einer Änderung der Verarbeitung eines Bildsignals nach dem Auffüllen in Abhängigkeit vom Auffüllen.

Modifikation 2 der ersten Ausführungsform

Fig. 5 ist ein Schaubild, das ein digitales Bildauffüllverfahren gemäß der Modifikation 2 der ersten Ausführungsform der vorliegenden Erfindung zeigt, und zeigt den Ablauf der Bildverarbeitung im Auffüllverfahren.
Das digitale Bildauffüllverfahren der Modifikation 2 der ersten Ausführungsform, wie in Fig. 5 gezeigt, enthält den Schritt S52, in welchem der Grad der Korrelation der Bildpunktwerte zwischen benachbarten Bildpunktspalten für ein ursprüngliches Bildsignal bewertet wird, das von einem neu abgetasteten eingegebenen digitalen Bildsignal gebildet wird, einen Schritt S53, in welchem entschieden wird, ob das ursprüngliche Bildsignal neu abgetastet wird, um mehrere kleine Bildräume entsprechend dem Bewertungsergebnis zu bilden, einen Schritt S54, in welchem der ursprüngliche Bildraum erneut abgetastet wird und anschließend der kleine Bildraum aufgefüllt wird, und einen Schritt S55, in welchem der ursprüngliche Bildraum direkt aufgefüllt wird.
Im folgenden werden die Operation und die Wirkung beschrieben.
Im Auffüllverfahren der Modifikation 2 der ersten Ausführungsform wird im Schritt S51 ein digitales Bildsignal, das einen vorgeschriebenen ursprünglichen Bildraum bildet, in dem die Bildpunkte in einer Matrix angeordnet sind, eingegeben. Anschließend wird im Schritt S52 der Grad der Korrelation der Bildpunktwerte zwischen benachbarten Bildpunktspalten für den ursprünglichen Bildraum berechnet. Genauer werden in dieser Modifikation die Differenzen der Abtastwerte der Bildpunkt zwischen jeden Paar benachbarter ungeradzahliger und geradzahliger. Bildpunktspalten im ursprünglichen Bildraum berechnet, wobei die Absolutwerte der Differenzen für jedes Paar ungeradzahliger und geradzahliger Bildpunktspalten addiert werden, um erste Beurteilungswerte zu erzeugen.
Außerdem werden die Differenzen (erste Differenzen) der Abtastwerte zwischen jedem Paar benachbarter ungeradzahliger Bildpunktspalten und die Differenzen (zweite Differenzen) der Abtastwerte zwischen jedem Paar benachbarter geradzahliger Bildpunktspalten berechnet, wobei die Absolutwerte dieser ersten und zweiten Differenzen für jedes Paar geradzahliger Bildpunktspalten und für jedes Paar ungeradzahliger Bildpunktspalten addiert werden, um zweite Beurteilungswerte zu erzeugen.
Im Schritt S52 wird ein Vergleich zwischen den ersten und zweiten Beurteilungswerten durchgeführt. Anhand dieses Vergleichsergebnisses wird dann, wenn die zweiten Beurteilungswerte kleiner sind als die ersten Beurteilungswerte, d. h. die Korrelation der Bildpunktwerte zwischen den ungeradzahligen und den geradzahligen Bildpunktspalten ist kleiner als die Korrelation der Bildpunktwerte zwischen ungeradzahligen Bildpunktspalten und zwischen geradzahligen Bildpunktspalten, im Schritt S54 der ursprüngliche Bildraum erneut abgetastet und anschließend aufgefüllt. Genauer werden die Bildpunkte auf jeder zweiten Bildpunktspalte im ursprünglichen Bildraum extrahiert, um einen ersten kleinen Bildraum zu erzeugen, der Bildpunkte umfaßt, die die ungeradzahligen Bildpunktspalten bilden, und einen zweiten kleinen Bildraum zu erzeugen, der Bildpunkte umfaßt, die die geradzahligen Bildpunktspalten bilden, woraufhin das Auffüllen der Bildpunkte für jeden kleinen Bildraum durchgeführt wird.
Wenn andererseits die zweiten Beurteilungswerte nicht kleiner sind als die ersten Beurteilungswerte, was sich anhand des Vergleichsergebnisses im Schritt S53 ergibt, wird im Schritt S55 der ursprüngliche Bildraum ohne Neuabtastung aufgefüllt. Das Auffüllen ist hierbei identisch mit dem Auffüllen im Schritt S13 der ersten Ausführungsform.
Somit wird in der Modifikation 2 der ersten Ausführungsform die Korrelation der Bildpunktwerte zwischen benachbarten Bildpunktspalten für den ursprünglichen Bildraum beurteilt, der dem eingegebenen Bildsignal entspricht, wobei entsprechend dem Beurteilungsergebnis das Auffüllen für den kleinen Bildraum durchgeführt wird, in welchem der ursprüngliche Bildraum neu abgetastet worden ist, oder das Auffüllen wird direkt für den ursprünglichen Bildraum durchgeführt. Somit ist es möglich, das Auffüllen für ein eingegebenes digitales Bildsignal entsprechend seiner Qualität durchzuführen, und das Durchführen des Auffüllens des ursprünglichen Bildraums zu vermeiden, wenn eine geringe Korrelation der Bildpunktzeilen zwischen benachbarten Bildpunktspalten vorliegt. Als Ergebnis kann das Auffüllen im Codierungs- oder Decodierungsprozeß eines Bildsignals ohne Verschlechterung der Codierungseffizienz durchgeführt werden.
Obwohl in dieser Modifikation 2 der ersten Ausführungsform die Korrelation der Bildpunktwerte zwischen Bildpunktspalten beurteilt wird und der ursprüngliche Bildraum in den kleinen Bildraum bestehend aus ungeradzahligen Bildpunktspalten und einen kleinen Bildraum bestehend aus geradzahligen Bildpunktspalten unterteilt wird, kann die Korrelation der Bildpunktwerte zwischen Bildpunktzeilen im ursprünglichen Bildraum beurteilt werden. Wie in der Modifikation 2 der ersten Ausführungsform werden auch in diesem Fall zwei Beurteilungswerte berechnet, wobei ein Vergleich zwischen diesen durchgeführt wird, um eine Entscheidung zu treffen, woraufhin entsprechend dem Entscheidungsergebnis entschieden wird, ob die Neuabtastung für den ursprünglichen Bildraum in Vertikalrichtung vor dem Auffüllen durchgeführt wird, d. h. es wird entschieden, ob der ursprüngliche Bildraum in den kleinen Bildraum (ungeradzahliges Halbbild) bestehend aus ungeradzahligen Bildpunktzeilen und den kleinen Bildraum (geradzahliges Halbbild) bestehend aus geradzahligen Bildpunktzeilen unterteilt wird.
Während in dieser Modifikation 2 der ersten Ausführungsform die Bildpunkte auf jeder zweiten Bildpunktspalte (oder jeder zweiten Bildpunktzeile) im ursprünglichen Bildraum extrahiert werden und ein Vergleich der Korrelation der Abtastwerte zwischen extrahierten Bildpunktspalten (oder Bildpunktzeilen) durchgeführt wird, können die Bildpunkte bei jedem (n+1)-ten Bildpunkt (n = 1, 2, 3, ...) in vertikaler (oder horizontaler) Richtung des ursprünglichen Bildraums extrahiert werden, wobei die Korrelation zwischen den extrahierten Bildpunkten berechnet werden kann, um mehrere Beurteilungswerte zu erzeugen, und wobei entsprechend der Größe dieser Beurteilungswerte entschieden werden kann, ob die Neuabtastung bei jedem (N+1)- ten Bildpunkt in vertikaler (oder horizontaler) Richtung vor dem Auffüllen durchgeführt wird.
Ferner ist eine Funktion, die bei der Berechnung der Beurteilungswerte für die Abtastwerte der im ursprünglichen Bildraum extrahierten Bildpunkt verwende wird, nicht auf eine Funktion beschränkt, in der die Summe der Absolutwerte der Differenzen zwischen den Abtastwerten als Beurteilungswerte verwendet wird, wobei andere Funktionen verwendet werden können. Außerdem können die Beurteilungswerte nur aus den wesentlichen Abtastwerten berechnet werden.

Modifikation 3 der ersten Ausführungsform

Fig. 6 ist ein Schaubild, das ein digitales Bildauffüllverfahren gemäß einer Modifikation 3 der ersten Ausführungsform zeigt, und zeigt den Ablauf der Bildverarbeitung im Auffüllverfahren.
Das digitale Bildauffüllverfahren der Modifikation 3 der ersten Ausführungsform, wie in Fig. 6 gezeigt, enthält einen Schritt S62, in welchem der Grad der Korrelation der Bildpunktwerte zwischen benachbarten Abtastzeilen (Bildpunktzeilen) für einen ursprünglichen Bildraum bewertet wird, der von einem abgetasteten eingegebenen digitalen Bildsignal gebildet wird, einen Schritt S63, in welchem der Grad der Korrelation der Bildpunktwerte in den Halbbildern des ursprünglichen Bildraums beurteilt wird, einen Schritt S64, in welchem der ursprüngliche Bildraum erneut abgetastet wird, um einen kleinen Bildraum, der einem ungeradzahligen Halbbild entspricht, und einen kleinen Bildraum, der einem geradzahligen Halbbild entspricht, zu erzeugen, woraufhin das Auffüllen für jeden kleinen Bildraum durchgeführt wird, d. h. halbbildweise, und einen Schritt S65, in welchem der ursprüngliche Bildraum vollbildweise aufgefüllt wird.
Im folgenden werden die Operation und die Wirkungen beschrieben.
Im Auffüllverfahren der Modifikation 3 der ersten Ausführungsform wird im Schritt S61 ein digitales Bildsignal eingegeben, das einen vorgeschriebenen ursprünglichen Bildraum bildet, in welchem die Bildpunkte in einer Matrix angeordnet sind. In dieser Modifikation 3 sei angenommen, daß das digitale Bildsignal dem verschachtelten Bild entspricht und den in Fig. 2 gezeigten Bildraum 301 bildet.
Anschließend wird im Schritt S62 die Korrelation der Bildpunktwerte zwischen den Abtastzeilen im ursprünglichen Bildraum berechnet. Genauer werden mit dem in Fig. 5 beschriebenen Verfahren erste Beurteilungswerte berechnet, die die Korrelation der Bildpunktwerte zwischen ungeradzahligen und geradzahligen Zeilen im ursprünglichen Bildraum anzeigen, und zweite Beurteilungswerte berechnet, die die Korrelation der Bildpunktwerte zwischen ungeradzahligen Zeilen und zwischen geradzahligen Zeilen im ursprünglichen Bildraum anzeigen.
Wenn festgestellt wird, daß die zweiten Beurteilungswerte kleiner sind als die ersten Werte, d. h. die Korrelation der Bildpunktwerte in den Halbbildern höher ist als die Korrelation der Bildpunktwerte im Vollbild, wird im Schritt S64 der ursprüngliche Bildraum, der vom digitalen Bildsignal gebildet wird, vollbildweise aufgefüllt. Mit anderen Worten, ein kleiner Bildraum bestehend aus den ungeradzahligen Zeilen und ein kleiner Bildraum bestehend aus den geradzahligen Zeilen werden erzeugt, woraufhin das Auffüllen für jeden kleinen Bildraum (Halbbild) durchgeführt wird. Wenn andererseits festgestellt wird, daß die zweiten Beurteilungswerte nicht kleiner sind als die ersten Werte, wird im Schritt 865 der ursprüngliche Bildraum vollbildweise aufgefüllt, d. h. mit verschmolzenen ungeradzahligen Zeilen und geradzahligen Zeilen.
Fig. 7 ist ein Schaubild zur Erläuterung des halbbildweisen Auffüllens des ursprünglichen Bildraums 301 in Fig. 2. Die Fig. 7(a) zeigt einen kleinen Bildraum 701, der dem ungeradzahligen Halbbild im ursprünglichen Bildraum 301 entspricht, und einen kleinen Bildraum 703, der erhalten wird durch Auffüllen des kleinen Bildraums 701. Fig. 7(b) zeigt einen kleinen Bildraum 702, der einem geradzahligen Halbbild im ursprünglichen Bildraum 301 entspricht, und einen kleinen Bildraum 704, der erhalten wird durch Auffüllen des kleinen Bildraums 702.
Wie aus Fig. 7 deutlich wird, können die kleinen Bildräume 701 und 702 aufgefüllt werden, ohne in dieselben hochfrequente Komponenten einzuführen.
In dieser Modifikation 3 der ersten Ausführungsform wird entschieden, ob der ursprüngliche Bildraum, der dem eingegebenen digitalen Bildsignal entspricht, halbbildweise oder vollbildweise aufgefüllt wird, wobei das Auffüllen der Bildpunktwerte für den ursprünglichen Bildraum in einer dieser Einheiten durchgeführt wird. Somit ist es möglich, das Auffüllen des verschachtelten Bildes durchzuführen ohne Beeinträchtigung der Effizienz der Codierung des Bildsignals des verschachtelten Bildes.

Ausführungsform 2

Fig. 8 ist ein Schaubild zur Erläuterung eines digitalen Bildauffüllverfahrens gemäß einer zweiten Ausführungsform der vorliegenden Erfindung, und zeigt ein ursprüngliches Bildsignal, das von einem aufzufüllenden digitalen Bildsignal gebildet, wird, und einen aufgefüllten Bildraum, in welchem der ursprüngliche Bildraum aufgefüllt worden ist.
Im digitalen Bildauffüllverfahren der zweiten Ausführungsform sind der Schritt S12 für die Neuabtastung und der Schritt S13 für das Auffüllen mittels des digitalen Bildauffüllverfahrens der ersten Ausführungsform ersetzt durch einen Schritt, in welchem ein ursprünglicher Bildraum 801, der einem digitalen Bildsignal entspricht, direkt aufgefüllt wird, d. h. die Abtastwerte der unwesentlichen Bildpunkte werden ersetzt durch Auffüllwerte, die aus den Abtastwerten der wesentlichen Bildpunkte entsprechend einer vorgegebenen Regel erhalten werden. In dieser Ausführungsform sind die bei Erzeugung de Auffüllwerte verwenden wesentlichen Bildpunkte diejenigen Bildpunkte, die zu den unwesentlichen Bildpunkten in Horizontalrichtung benachbart sind, und diejenigen Bildpunkte, die von diesen einen Bildpunkt in Vertikalrichtung des ursprünglichen Bildraums beabstandet sind.
Genauer enthält das digitale Bildauffüllverfahren der zweiten Ausführungsform einen ersten Ersetzungsschritt S21 (siehe Fig. 8(a)) zum sequentiellen Ersetzen der Abtastwerte der unwesentlichen Bildpunkte in Horizontalrichtung, und einen zweiten Ersetzungsschritt S22 (siehe Fig. 8(b)) zum Ersetzen der Abtastwerte der unwesentlichen Bildpunkte in Vertikalrichtung. Im zweiten Ersetzungsschritt S22 werden die Abtastwerte der unwesentlichen Bildpunkte in einem Bildraum 801a, der erhalten wird durch den ersten Ersetzungsschritt S21, durch Abtastwerte der Bildpunkte auf einer Bildpunktzeile ersetzt, die neben einer Bildpunktzeile liegen, und eine Bildpunktzeile von diesen beabstandet ist.
Im folgenden werden die Operation und die Wirkungen beschrieben.
Da eine geringe Korrelation der Bildpunktwerte zwischen einer ungeradzahligen Zeile (Bildpunktreihe) und einer geradzahligen Zeile (Bildpunktreihe) im ursprünglichen Bildraum 801 vorliegt, wird für die Effektivität gesorgt durch das Verfahren des Unterteilens des ursprünglichen Bildraums 801 in den kleinen Bildraum bestehend aus ungeradzahligen Zeilen und den kleinen Bildraum bestehend aus geradzahligen Zeilen, und Auffüllen der jeweiligen Bildräume, wie bereits in der ersten Ausführungsform beschrieben worden ist. Andererseits gibt es für ein Bildsignal, das einen ursprünglichen Bildraum mit hoher Korrelation zwischen ungeradzahligen Zeilen und zwischen geradzahligen Zeilen bildet, ein weiteres effektives Verfahren, in welchem die aufzufüllenden Abtastwerte, d. h. die unwesentlichen Bildpunkte im ursprünglichen Bildraum, durch Abtastwerte der wesentlichen Bildpunkte ersetzt werden, die in Vertikalrichtung einen Bildpunkt von diesen beabstandet angeordnet sind (ein Bildpunkt ist neben dem anderen Bildpunkt angeordnet, wobei zwischen diesen in Vertikalrichtung ein Bildpunkt eingesetzt ist).
Somit werden im digitalen Auffüllverfahren der zweiten Ausführungsform, wie in Fig. 8(a) gezeigt, die Abtastwerte der unwesentlichen Bildpunkte durch die Abtastwerte der wesentlichen Bildpunkte ersetzt, die zu diesen benachbart sind, für unwesentliche Bildpunkte, die in Horizontalrichtung ausgerichtet sind, in der Reihenfolge von innen nach außen im ursprünglichen Bildraum 801 (erster Ersetzungsschritt).
Wie in Fig. 8(b) gezeigt, werden anschließend die Abtastwerte der unwesentlichen Bildpunkte auf einer Bildpunktzeile 812 ersetzt durch die Abtastwerte der Bildpunkt auf einer zu dieser benachbarten Bildpunktzeile 814, wobei eine Bildpunktzeile 813 zwischen diesen im Bildraum 801a eingesetzt ist, der erhalten wird durch den ersten Ersetzungsschritt S21, während die Abtastwerte der unwesentlichen Bildpunkte auf einer Bildpunktzeile 811 ersetzt werden durch die Abtastwerte der Bildpunkte auf der Bildpunktzeile 813, die zu dieser benachbart ist, wobei die Bildpunktzeile 812 zwischen diesen im Bildraum 801a eingesetzt ist (zweiter Ersetzungsschritt S22).
Im digitalen Bildauffüllverfahren der zweiten Ausführungsform werden die gleichen Wirkungen erzielt wie beim digitalen Bildauffüllverfahren der ersten Ausführungsform, in welchen der ursprüngliche Bildraum, der dem eingegebenen Bildsignal entspricht, erneut abgetastet wird und der resultierende Bildraum aufgefüllt wird. Genauer, selbst für den Fall des dem verschachtelten Bild entsprechenden digitalen Bildsignals ist es möglich, das Einführen hochfrequenter Komponenten in das digitale Bildsignal des ursprünglichen Bildraums im Auffüllprozeß zu vermeiden, wodurch die Differentialcodierung oder die Differentialdecodierung des verschachtelten Bildes oder dergleichen mit hoher Effizienz durchgeführt werden kann, während eine Verschlechterung der Codierungseffizienz, die aus dem Auffüllen resultiert, unterdrückt wird.
Während in der zweiten Ausführungsform die Abtastwerte der wesentlichen Bildpunkte, die von den unwesentlichen Bildpunkten in Vertikalrichtung einen Abtastwert beabstandet sind, als Auffüllbildpunktwerte im Ersetzungsschritt S22 verwendet werden, sind die Abtastwerte für die Auffüllwerte nicht hierauf beschränkt, wobei Abtastwerte der wesentlichen Bildpunkte, die von den unwesentlichen Bildpunkten in Vertikalrichtung N Abtastwerte beabstandet sind, im allgemeinen beim Auffüllen der Abtastwerte der unwesentlichen Bildpunkte verwendet werden können.
Während außerdem in der zweiten Ausführungsform die Abtastwerte der unwesentlichen Bildpunkte sequentiell zuerst in Horizontalrichtung ersetzt werden, und anschließend jeder zweite Abtastwert der unwesentlichen Bildpunkte in Vertikalrichtung ersetzt wird, können die Abtastwerte der unwesentlichen Bildpunkte sequentiell zuerst in Vertikalrichtung ersetzt werden, woraufhin jeder zweite Abtastwert der unwesentlichen Bildpunkte in Horizontalrichtung ersetzt wird. In diesem Fall ist es möglich, das Auffüllen eines progressiven Bildes mit einem vertikalen Streifenmuster effektiv durchzuführen.
Im folgenden wird eine Bildcodierungsvorrichtung beschrieben, die das digitale Bildauffüllverfahren der vorliegenden Erfindung in einer dritten Ausführungsform verwendet, sowie eine Bilddecodierungsvorrichtung, die das digitale Bildauffüllverfahren in einer vierten Ausführungsform verwendet.

Ausführungsform 3

Fig. 9 ist ein Blockschaltbild, das die Bildcodierungsvorrichtung als eine Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung zeigt, wobei Fig. 9(a) eine Gesamtkonstruktion der Bildcodierungsvorrichtung zeigt und Fig. 9(b) einen Auffüllabschnitt der Bildcodierungsvorrichtung zeigt.
Eine Bildcodierungsvorrichtung 100a der dritten Ausführungsform enthält eine Blockbildungseinheit 101 zum Unterteilen eines eingegebenen digitalen Bildsignals Sg, das einem Eingangsanschluß 101a zugeführt wird, in Signale, die Blöcken entsprechen, die jeweils 16 · 16 Bildpunkte als Codierungseinheiten umfassen, und zum Ausgeben des resultierenden Bildsignals (im folgenden bezeichnet als Blockbildsignal) Bg, eine Verschachtelungserfassungseinheit 104 zur Unterscheidung zwischen dem verschachtelten Bild und dem progressiven Bild auf der Grundlage eines Ausgangs Bg der Blockbildungseinheit 101 für ein Bild, das dem digitalen Bild Sg entspricht, und zum Ausgeben eines Abtastidentifizierers Di entsprechend dem Ergebnis, sowie einen Vorhersageabschnitt 120a zum Erzeugen eines Vorhersagebildes Prg eines zu codierenden Zielblocks.
Die Bildcodierungsvorrichtung 101a enthält ferner einen Subtrahierer 102 zum Ausgeben einer Differenz zwischen dem Blockbildsignal Bg des Zielblocks und dem Vorhersagesignal Prg als Differenzsignal (Vorhersagefehlersignal) Dg, eine Datenkompressionseinrichtung 110 zum Durchführen der Informationskompression des Ausgangs Dg des Subtrahierers 102 entsprechend dem Abtastidentifizierer Di und zum Ausgeben eines komprimierten Differenzsignals Qg, sowie einen Codierer mit veränderlicher Länge (VLC) 103 zum Durchführen einer Codierung mit veränderlicher Länge des Ausgangs Qg der Datenkompressionseinrichtung 110 und zum Ausgeben eines codierten Bildsignals Eg.
Die Datenkompressionseinrichtung 110 enthält eine Bildpunktumordnungseinheit 113 für die Umordnung der Bildpunkte eines Differenzbildsignals, das vom Differenzsignal Dg gebildet wird, entsprechend dem Abtastidentifizierer Di, eine DCT-Einheit 111 zum Durchführen einer diskreten Kosinustransformation für einen Ausgang PDg der Bildpunktumordnungseinheit 113, und einen Quantifizierer 112 zum Quantifizieren eines Ausgangs Tg der DCT-Einheit 111 und zum Ausgeben von Quantifizierungskoeffizienten als komprimiertes Differenzsignal Qg. Die diskrete Kosinustransformation wird für jeden der vier Blöcke durchgeführt, die jeweils 8 · 8 Bildpunkte umfassen, in die der 16 · 16 Bildpunkte umfassende Block unterteilt ist. Wenn die Umordnung durchgeführt worden ist, wird ein Block 250c in kleine Blöcke 251-254 unterteilt, wie in Fig. 10(c) gezeigt ist, während dann, wenn die Umordnung nicht durchgeführt worden ist, ein Block 250b in kleine Blöcke 255-258 unterteilt wird, wie in Fig. 10(b) gezeigt ist.
Die Bildpunktumordnungseinheit 113 wird verwendet zum Umordnen der Bildpunkte im Bildraum 250 entsprechend dem Differenzsignal Dg, um einen umgeordneten Bildraum 250a zu erzeugen, entsprechend dem Abtastidentifizierer Di, wie in Fig. 10(a) gezeigt ist. In diesem umgeordneten Bildraum 250a umfaßt ein oberer Bereich 250a1, der 16 · 8 Bildpunkte umfaßt, Bildpunkte auf ungeradzahligen Bildpunktreihen, während ein unterer Bereich 250a2, der 16 · 8 Bildpunkte umfaßt, Bildpunkte auf geradzahligen Bildpunktreihen im Bildraum 250 umfaßt.
Der Vorhersageabschnitt 120a enthält eine Datenexpansionseinrichtung 130 zum Durchführen der Expansion des Ausgangs Qg der Datenkompressionseinrichtung 110 und zum Ausgeben eines expandierten Differenzsignals Itg, sowie einen Addierer 123 zum Addieren des expandierten Differenzsignals Itg zum Vorhersagebildsignal Prg und zum Ausgeben eines wiederhergestellten Bildsignals Lrg. Die Datenexpansionseinrichtung 130 enthält einen inversen Quantifizierer 121 zum inversen Quantifizieren des Ausgangs Qg der Datenkompressionseinrichtung 110 und eine IDCT-Einheit 122 zum Durchführen einer inversen DCT eines Ausgangs IQg des inversen Quantifizierers 121 durch Transformieren der Daten im Frequenzbereich zu Daten im Raumbereich und zum Ausgeben des expandierten Differenzsignals Itg.
Der Vorhersageabschnitt 120a enthält ferner eine Auffülleinrichtung 150 zum Durchführen des Auffüllens des wiederhergestellten Bildsignals Lrg vom Addierer 123 entsprechend dem Abtastidentifizierer Di, und eine Vorhersagesignalerzeugungseinrichtung 140 zum Erzeugen des Vorhersagebildsignals Prg aus einem aufgefüllten wiederhergestellten Bildsignal Pag.
Die Vorhersagesignalerzeugungseinrichtung 140 enthält einen Vollbildspeicher 124 zum Speichern des Ausgangs Pag der Auffülleinrichtung 150, eine Bewegungserfassungseinheit (ME) 125 zum Ausgeben eines Bewegungsvektors MV des Zielblocks auf der Grundlage der Bilddaten Mg, die im Vollbildspeicher 124 gespeichert sind, des Blockbildsignals Bg und des Abtastidentifizierers Di, und zum Ausgeben von MV, sowie eine Bewegungskompensationseinheit (MC) 126 zum Erzeugen einer Adresse Add1 des Vollbildspeichers 124 entsprechend dem Bewegungsvektor MV von der Bewegungserfassungseinheit 125 und zum Ausgeben eines Bildsignals in einen Speicherbereich der Adresse Add1 als Vorhersagesignal Prg. Die Bewegungserfassungseinheit 125 wird verwendet, um einen Bewegungsvektor eines Vollbildes und einen Bewegungsvektor eines Halbbildes entsprechend dem Abtastidentifizierer Di zu erzeugen. Der Bewegungsvektor MV und der Abtastidentifizierer Di werden vom Codierer 103 mit veränderlicher Länge gemeinsam mit dem komprimierten Differenzsignal Qg mit veränderlicher Länge codiert.
Wie in Fig. 9(b) gezeigt, enthält die Auffülleinrichtung 150 eine Vollbildauffülleinheit. 128a zum Auffüllen des Ausgangs Lrg des Addierers 123 vollbildweise, eine Halbbildauffülleinheit 128b zum Auffüllen des wiederhergestellten Bildsignals Lrg vom Addierer 123 halbbildweise, einen Primärschalter 127a, der in einer Primärstufe dieser Auffülleinheiten vorgesehen ist, um einer der Auffülleinheiten das wiederhergestellte Bildsignal Lrg vom Addierer 123 zuzuführen, einen Sekundärschalter 127b, der an der nächsten Stufe dieser Auffülleinheiten vorgesehen ist, um einen der Ausgänge Pa1 und Pa2 der jeweiligen Auffülleinheiten auszuwählen entsprechend dem Abtastidentifizierer Di, sowie eine Bildpunktumordnungseinheit 129 zum Empfangen des aufgefüllten wiederherstellten Signals als ein ausgewähltes Signal Spa vom Sekundärschalter 127b und zum Umordnen der Bildpunkte in einem Bildraum, der vom aufgefüllten wiederhergestellten Bildsignal gebildet wird.
Wie in Fig. 10(b) gezeigt, wird die Vollbildauffülleinheit 128a verwendet für die Durchführung des Auffüllens des wiederhergestellten Bildsignals Lrg der vier kleinen Blöcke (8 · 8 Bildpunkte) 255-258 in einem Bildraum 250b (16 · 16 Bildpunkte), der dem wiederhergestellten Bildsignal entspricht, zu einem Zeitpunkt. Wie in Fig. 10(c) gezeigt, wird die Halbbildauffülleinheit 128b verwendet zur Durchführung des Auffüllens des wiederhergestellten Bildsignals Lrg der kleinen Blöcke 251 und 252, die aus den ersten Halbbildzeilen in einem oberen Bereich 250c1 eines Bildraums 250c des wiederhergestellten Bildsignals bestehen, zu einem Zeitpunkt, und des Auffüllens des Signals Lrg der kleinen Blöcke 253 und 254, die die zweiten Halbbildzeilen in einem unteren Bereich 250c2 des Bildraums 250c umfassen, zu einem Zeitpunkt. Die Bildpunktumordnungseinheit 129 wird verwendet für das Umordnen der Bildpunkte in einem Bildraum 250d, der einem aufgefüllten wiederhergestellten Bildsignal entspricht, von der Halbbildauffülleinheit 128b und zum Ausgeben des Bildsignals Pag, das dem verschmolzenen wiederhergestellten Bildraum 250e entspricht, wobei acht Bildpunktreihen im oberen Bereich 250d1 und acht Bildpunktreihen im unteren Bereich 250d2 des Bildraums 250d jeweils abwechselnd angeordnet sind.
Im folgenden wird die Datenstruktur eines gruppierten Bildsignals beschrieben, das von der Bildcodierungsvorrichtung 100a ausgegeben wird. Fig. 11 zeigt schematisch eine Datenstruktur des codierten Bildsignals (Bitstrom).
In diesem Bitstrom 200 umfaßt eine Bitkette F, die einem Vollbild entspricht, ein synchrones Bildsignal 203, das einen Startpunkt einer Codierungskette angibt, einen Quantifizierungsschrittwert 204, der einen Quantifizierungsmaßstab (Quantifizierungsschritt) zur Verwendung bei der Quantifizierung im Codierungsprozeß angibt, und Daten D(1), D(2), D(3), ... D(i), die den Blöcken (Makroblocken) MB(1), MB(2), MB(3), ..., MB(i) entsprechen, die jeweils 16 · 16 Bildpunkte umfassen. Die Bezugszeichen 205, 208 und 211 bezeichnen Abtastidentifizierer, die jeweils angeben, ob die Korrelation zwischen den Bildpunkten in den Halbbildern höher ist als die Korrelation zwischen den Bildpunktwerten in einem Vollbild. Die Bezugszeichen 206, 209 und 212 bezeichnen codierte Bewegungsvektoren mit veränderlicher Länge. Die Bezugszeichen 207, 210 und 213 bezeichnen DCT-Koeffizienten der Unterblöcke, die jeweils 8 · 8 Bildpunkte eines jeden Blocks umfassen. Die Daten D(1), die Daten D(2) und die Daten D(3) entsprechen den jeweiligen Makroblöcken und umfassen den Abtastidentifizierer 205, den Bewegungsvektor 206 und die DCT-Koeffizienten 207, den Abtastidentifizierer 208, den Bewegungsvektor 209 und den DCT-Koeffizienten 210, sowie den Abtastidentifizierer 211, den Bewegungsvektor 212 und den DCT-Koeffizienten 213. In Fig. 11 bezeichnet das Bezugszeichen 214 ein synchrones Bildsignal eines Vollbildes, das dem Vollbild F folgt.
In dieser Ausführungsform werden die synchronen Bildsignale 203 und 204 jeweils am Anfang der entsprechenden Bitströme der Vollbilder angeordnet, wobei dem synchronen Bildsignal 203 der Reihe nach der Quantifizierungsschrittwert 204 für die Verwendung bei der Quantifizierung, der Abtastidentifizierer 205, der Bewegungsvektor 206 und der DCT-Koeffizient 207 als komprimierte Daten folgen. Das synchronisierte Bildsignal 203 zeigt den Kopf der komprimierten Daten des Bildes 200 an und wird durch eindeutige 32 Bits dargestellt. Der Quantifizierungsschritt 204 ist ein Parameter von fünf Bits, der verwendet wird für die inverse Quantifizierung des DCT-Koeffizienten.
Im folgenden wird die Operation beschrieben.
Wenn das digitale Bildsignal Sg in die Bildverarbeitungsvorrichtung 100a eingegeben wird, führt die Blockbildungseinheit 101 eine Blockbildung durch, so daß das digitale Bildsignal Sg in Signale unterteilt wird, die den Bildräumen (Blöcken) entsprechen, die jeweils 16 · 16 Bildpunkte umfassen, in welche ein Vollbild unterteilt wird, um diese auszugeben. Der Subtrahierer 102 berechnet die Differenz zwischen dem Blockbildsignal Bg und dem Vorhersagebildsignal Prg aus dem Vorhersageabschnitt 120a und gibt das resultierende Differenzsignal (Vorhersagebildsignal) Dg an die Datenkompressionseinrichtung 110 aus. Zu diesem Zeitpunkt identifiziert die Verschachtelungserfassungseinheit 104 ein verschachteltes Bild auf der Grundlage des Bildsignals jedes Blocks (Blockbildsignal) Bg für das eingegeben Bild und gibt den Abtastidentifizierer Di entsprechend dem Entscheidungsergebnis aus.
Wenn das Differenzsignal Dg der Datenkompressionseinrichtung 110 zugeführt wird, unterwirft die Bildpunktumordnungseinheit 113 das Differenzsignal Dg der Umordnung entsprechend dem Abtastidentifizierer Di. Genauer, wenn das digitale Bildsignal dem verschachtelten Bild entspricht, wird das Differenzsignal Dg einer Umordnung unterworfen und in die DCT-Einheit 111 eingegeben, während dann, wenn das digitale Bildsignal dem progressiven Bild entspricht, das Differenzsignal Dg ohne Umordnung direkt in die DCT-Einheit 111 eingegeben wird. Die DCT-Einheit 111 führt die DCT für den Ausgang PDg der Bildpunktumordnungseinheit 113 durch. Genauer wird für den Block, der dem verschachtelten Bild entspricht, der Block in Unterblöcke aufgeteilt, wie in. Fig. 10(c) gezeigt, während für den Block, der dem progressiven Bild entspricht, der Block in Unterblöcke unterteilt wird, wie in Fig. 10(b) gezeigt ist, woraufhin der Ausgang PDg für jeden Unterblock der DCT unterworfen wird. Der Quantifizierer 112 quantifiziert einen Ausgang Tg der DCT-Einheit 111 mittels eines Quantifizierungsschritts und gibt Quantifizierungseffizienten Qg des Differenzsignals an den Codierer 103 mit veränderlicher Länge und an den Informationsexpansionsabschnitt 130 aus.
Der Informationsexpansionsabschnitt 130 expandiert und konvertiert das komprimierte Differenzsignal Qg des Zielblocks in das erweiterte Differenzsignal Itg. Genauer quantifiziert in dieser Ausführungsform der inverse Quantifizierer 121 das komprimierte Differenzsignal Qp invers, wobei ferner die inverse DCT-Einheit 122 (IDCT-Einheit) den Ausgang IQg des Quantifizierers 121 einer IDCT unterwirft durch Transformieren eines Signals im Frequenzbereich zu einem Signal im Raumbereich.
Der Addierer 123 addiert das expandierte Differenzsignal ITg zum Vorhersagebildsignal Prg und gibt das wiederhergestellte Bildsignal Lrg an die Auffülleinrichtung 150 aus.
In der Auffülleinrichtung 150 wird das wiederhergestellte Bildsignal Lrg über den Schalter 127a entweder der Vollbildauffülleinheit 128a oder der Halbbildauffülleinheit 128b zugeführt. Zu diesem Zeitpunkt wird das Schalten des Schalters 127a entsprechend dem Abtastidentifizierer Di gesteuert. Wenn ein Wert des Abtastidentifizierers Di gleich 1 ist, d. h. es liegt eine hohe Korrelation zwischen den Bildpunkten in den Halbbildern vor, wird das wiederhergestellte Bildsignal Lrg der Halbbildauffülleinheit 128b über den Schalter 127a zugeführt und einer Intra-Halbbild- Auffüllung unterworfen. Genauer, wie in Fig. 10(c) gezeigt ist, wird das Auffüllen für die wiederhergestellten Bildsignale der kleinen Blöcke 251 und 252 zu einem Zeitpunkt durchgeführt, die die Zeilen des ersten Halbbildes des wiederhergestellten Bildraums 250c umfassen, während die wiederhergestellten Bildsignale der kleinen Blöcke 253 und 254, die die Zeilen des zweiten Halbbildes des wiederhergestellten Bildraums 250c umfassen, zu einem Zeitpunkt aufgefüllt werden.
Wenn andererseits der Wert des Abtastidentifizierers Di gleich 0 ist, d. h. wenn eine hohe Korrelation zwischen den Bildpunktwerten im Vollbild vorliegt, wird das wiederhergestellte Bildsignal Lrg über den Schalter 127a in die Vollbildauffülleinheit 128a eingegeben und einer Intra-Vollbild-Auffüllung unterworfen. Genauer, wie in Fig. 10(b) gezeigt, wird das Auffüllen für die kleinen Blöcke 255-258 des wiederhergestellten Bildraums 250b zu einem Zeitpunkt durchgeführt.
Die so aufgefüllten wiederhergestellten Bildsignale Pa1 und Pa2 werden über den Primärschalter 127b der Bildpunktumordnungseinheit 129 zugeführt. Die Bildpunktumordnungseinheit 129 ordnet die Bildpunkte des ersten Halbbildes und die Bildpunkte des zweiten Halbbildes so um, daß sie eine Bildpunktanordnung des verschachtelten Bildes aufweisen, entsprechend dem Abtastidentifizierer Di, für den Makroblock 250d, der halbbildweise aufgefüllt worden ist. Genauer werden die Bildpunkte im wiederhergestellten Bildraum 250b in Fig. 10(d) so umgeordnet, daß die Bildpunktreihen im oberen Bereich 250d1 und die Bildpunktreihen im unteren Bereich 250d2 abwechselnd angeordnet sind, was zu einem Bildsignal führt, das einen Bildraum 250e mit der gleichen Bildpunktanordnung wie der vom Differenzsignal Bg gebildete Bildraum bildet. Andererseits werden für den Block, der vollbildweise aufgefüllt worden ist, die Bildpunkte von der Bildpunktumordnungseinheit 129 nicht umgeordnet.
Das aufgefüllte wiederhergestellte Bildsignal Pag, das so umgeordnet worden ist, wird im Vollbildspeicher 124 des Vorhersagesignalerzeugungsabschnitts 140 gespeichert.
Im Vorhersagesignalerzeugungsabschnitt 140 wird das Bildsignal Bg des Zielblocks in die Bewegungserfassungseinheit 125 eingegeben, wobei gleichzeitig das aufgefüllte wiederhergestellte Bildsignal Pag aus dem Vollbildspeicher 124 in die Bewegungserfassungseinheit 125 als ein Bildsignal eines codierten vorhergehenden Vollbildes eingelesen wird.
Die Bewegungserfassungseinheit 125 erfaßt einen Bereich des vorhergehenden Vollbildes, das ein Bildsignal enthält, das den kleinsten Fehler zwischen dem Bildsignal Bg des Zielblocks und demselben als Vorhersagebereich aufweist, und gibt Bewegungsverschiebungsinformationen (Bewegungsvektor) MV aus, die die Position des Vorhersagebereiches mittels Blockanpassung oder dergleichen anzeigen. Der Bewegungsvektor MV wird zur Bewegungskompensationseinheit 126 gesendet, die eine Adresse Addr1 des Vollbildspeichers 124 aus dem Bewegungsvektor erzeugt und ein Bildsignal, das dem Vorhersagebereich des vorangehenden Vollbildes entspricht, unter Verwendung der Adresse Add1 als Vorhersagebildsignal Prg ausliest.
Ferner werden der Bewegungsvektor MV des Zielblocks, der Abtastidentifizierer Di und das codierte Differenzsignal Qg dem Codierer 103 mit veränderlicher Länge zugeführt, wo sie in die entsprechenden Codes mit veränderlicher Länge umgesetzt werden und am Ausgangsanschluß 101b als codiertes Bildsignal Bg ausgegeben werden.
In der dritten Ausführungsform führt somit der Vorhersageabschnitt 120b das Auffüllen in Abhängigkeit davon durch, ob das digitale Bildsignal dem verschachtelten Bild oder dem progressiven Bild entspricht. Es ist somit möglich, die Differentialcodierung des verschachtelten Bildes mit hoher Effizienz durchzuführen.
Im folgenden werden Konfigurationen der dritten Ausführungsform beschrieben.

Modifikation 1 der dritten Ausführungsform

Fig. 12 ist ein Schaubild, das eine Bildcodierungsvorrichtung gemäß einer Modifikation 1 der dritten Ausführungsform zeigt.
In einer Bildcodierungsvorrichtung 100b der Modifikation 1 der dritten Ausführungsform unterscheidet sich nur ein Vorhersageabschnitt 120b von demjenigen der Bildcodierungsvorrichtung 100a der dritten Ausführungsform, wobei im Vorhersageabschnitt 120b der Bildcodierungsvorrichtung 100b die Auffülleinrichtung 150 des Vorhersageabschnitts 120a der ersten Ausführungsform durch eine Verschmelzungseinheit 151 ersetzt ist, die eine Verschmelzung durchführt, in der die Bildpunkte in einem vom wiederhergestellten Bildsignal Lrg vom Addierer 123 gebildeten Bildraum umgeordnet werden, und eine Auffülleinrichtung 150b, die das Auffüllen für einen Ausgang der Verschmelzungseinheit 151 durchführt.
Die Verschmelzungseinheit 151 wird, wie in Fig. 10(d) gezeigt, verwendet für die Umordnung der Bildpunkte durch abwechselndes Anordnen der Bildpunktzeilen im oberen Bereich 250b1 und der Bildpunktreihen im unteren Bereich 250b2 des Bildraums 250d. Die Auffülleinrichtung 950b enthält primäre und sekundäre Schalter 127a und 127b, die Vollbildauffülleinheit 128a und die Halbbildauffülleinheit 128b der Auffülleinrichtung 150 der dritten Ausführungsform, wobei die Halbbildauffülleinheit 128b das Auffüllen mit dem digitalen Bildauffüllverfahren der zweiten Ausführungsform durchführt. Die anderen Komponenten sind mit denjenigen der dritten Ausführungsform identisch. In der Modifikation 1 der dritten Ausführungsform, die so konstruiert ist, werden die gleichen Wirkungen erzielt wie bei der dritten Ausführungsform.

Modifikation 2 der dritten Ausführungsform

Fig. 13 ist ein Schaubild, das eine Bildcodierungsvorrichtung gemäß einer Modifikation der dritten Ausführungsform der vorliegenden Erfindung zeigt, wobei Fig. 13(a) eine Gesamtkonstruktion der Bildcodierungsvorrichtung zeigt und Fig. 13(b) die Auffülleinrichtung 150c der Datenkompressionseinrichtung 110c der Bildcodierungsvorrichtung zeigt.
In einer Bildcodierungsvorrichtung 100c der Modifikation 2 der dritten Ausführungsform unterscheidet sich nur die Datenkompressionseinrichtung 100c von derjenigen der Bildcodierungsvorrichtung 100a der dritten Ausführungsform, wobei die Datenkompressionseinrichtung 110c der Bildcodierungsvorrichtung 100c mit einer Auffülleinrichtung 150c versehen ist, die das Auffüllen für einen Ausgang PDg der Bildpunktumordnungseinheit 113 zwischen der Bildpunktumordnungseinheit 113 und der DCT-Einheit 111 in der nächsten Stufe der Datenkompressionseinrichtung 110 der dritten Ausführungsform durchführt.
Die Auffülfeinrichtung 150c enthält eine Vollbildauffülleinheit 158a zum Durchführen des Auffüllens für den Ausgang PDg der Umordnungseinheit 113 vollbildweise, eine Halbbildauffülleinheit 158b zum Durchführen des Auffüllens für den Ausgang PDg der Umordnungseinheit 113 halbbildweise, einen Primärschalter 157a, der an einer vorherigen Stufe dieser Auffülleinheiten vorgesehen ist, um einer dieser Auffülleinheiten den Ausgang PDg zuzuführen, entsprechend dem Abtastidentifizierer Di, und einen Sekundärschalter 157b, der an einer nächsten Stufe dieser Auffülleinheiten vorgesehen ist, um einen der Ausgänge PDg1 und PDg2 der Auffülleinheiten entsprechend den Abtasfiidentifizierer Di auszuwählen. Die Konstruktionen der Vollbildauffülleinheit 158a und der Halbbildauffülleinheit 158b sind identisch mit denjenigen der Vollbildauffülleinheit 128a und der Halbbildauffülleinheit 128b der dritten Ausführungsform.
Da in dieser Modifikation 2 der dritten Ausführungsform das aufgefüllte Differenzsignal der DCT-Einheit 111 zugeführt wird, wird die Effizienz im DCT-Prozeß erhöht, zusätzlich zu den Wirkungen, die von der dritten Ausführungsform erreicht werden.

Ausführungsform 4

Fig. 14 ist ein Blockschaltbild, das eine Bilddecodierungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt.
Eine Bilddecodierungsvorrichtung 900a der vierten Ausführungsform wird verwendet, um einen Bitstrom 200 der Datenstruktur in Fig. 11 als ein codiertes Bildsignal Bg zu empfangen, in welchem ein Bildsignal komprimiert codiert worden ist, und um die Decodierung des codierten Bildsignals Bg durchzuführen.
Genauer enthält die Bilddecodierungsvorrichtung 900a eine Datenanalyseeinheit 902 zum Empfangen eines codierten Differenzsignals Dg eines zu decodierenden Zielblocks (Zielblock) und zum Durchführen einer Analyse und zum Decodieren mit veränderlicher Länge des codierten Differenzsignals Dg, eine Datenexpansionseinrichtung 903 zum Expandieren eines Ausgangs AEg der Datenanalyseeinheit 902 und zum Ausgeben eines expandierten Bildsignal DEg, einen Addierer 906 zum Addieren des Ausgangs DEg zu einem Vorhersagebildsignal Pg2 des Zielblocks, eine inverse Blockbildungseinheit 907 zum Integrieren des wiederhergestellten Bildsignals der jeweiligen Blöcke als Ausgang PEg des Addierers 906 und zum Ausgeben eines Bildausgangssignals REg einer abgetasteten Zeilenstruktur, und einen Vorhersageabschnitt 910a zum Erzeugen des Vorhersagebildsignals Pg2.
Die Datenexpansionseinrichtung umfaßt einen inversen Quantifizierer 904 für die inverse Quantifizierung des Ausgangs AEg der Datenanalyseeinheit 902 und eine IDCT-Einheit 905 zum Durchführen der IDCT (inverse diskrete Kosinustransformation) als ein Typ der inversen Frequenztransformation, für den Ausgang DEg1 des inversen Quantifizierers 904, und zum Ausgeben des expandierten Differenzbildsignals DEg.
Der Vorhersageabschnitt 910a enthält eine Auffülleinrichtung 920a zum Durchführen des Auffüllens für den Ausgang PEg des Addierers 906, einen Vollbildspeicher 909, der einen Ausgang Pa der Auffülleinrichtung 920a als wiedergegebenes Bildsignal enthält, und eine Bewegungskompensationseinheit 911 zum Erzeugen einer Adresse Add2 des Vollbildspeichers 909 entsprechend einem Ausgang Rg2 des Vollbildspeichers 909 und einem Bewegungsvektor MV des Blocks, der mittels der Datenanalyseeinheit 902 decodiert worden ist, und zum Lesen eines Vorhersagebildsignals Pg2 des Zielblocks vom Vollbildspeicher 909, der die aufgezeichneten Daten Rg2 enthält, unter Verwendung der Adresse Add2.
Die Auffülleinrichtung 920a enthält eine Vollbildauffülleinheit 921a für die Durchführung des Auffüllens für den Ausgang PEg des Addierers 906 vollbildweise, eine Halbbildauffülleinheit 921b für die Durchführung des Auffüllens für den Ausgang PEg halbbildweise, einen Primärschalter 922, der an einer vorangehenden Stufe dieser Auffülleinheiten vorgesehen ist, um entsprechend dem Abtastidentifizierer Di einer von diesen den Ausgang PEg von der Datenanalyseeinheit 902 zuzuführen, einen Sekundärschalter 923, der an einer nächsten Stufe derselben vorgesehen ist, um einen der Ausgänge Pa1 und Pa2 der jeweiligen Auffülleinheiten entsprechend dem Abtastidentifizierer auszuwählen, und eine Bildpunktumordnungseinheit 924 zum Umordnen der Bildpunkte des aufgefüllten Bildsignals als ein ausgewähltes Signal Pas vom Sekundärschalter 923.
Außerdem bezeichnen die Bezugszeichen 901a und 901b die Eingangs- und Ausgangsanschlüsse der Bilddecodierungsvorrichtung 900a.
Im folgenden wird die Operation beschrieben.
Wenn das komprimiert codierte Bildsignal Eg, wie z. B. der Bitstrom 200, in Fig. 11 in den Eingangsanschluß 901a eingegeben wird, führt die Datenanalyseeinheit 902 eine Decodierung mit veränderlicher Länge für das codierte Bildsignal mittels Analyse durch. Die - resultierenden decodierten Daten werden an die Datenexpansionseinrichtung 903 als ein komprimiertes Differenzsignal AEg ausgegeben, in welchem ein Quantifizierungsschritt oder ein DCT-Koeffizient komprimiert worden sind. Die Datenanalyseeinheit 902 gibt ferner den Bewegungsvektor MV und den Abtastidentifizierer Di an den Vorhersageabschnitt 910a aus.
Die Datenexpansionseinrichtung 903 expandiert das komprimierte Differenzsignal, das wiederhergestellt werden soll, zu einem expandierten Differenzsignal des Zielblocks. Genauer führt der inverse Quantifizierer 904 eine inverse Quantifizierung des komprimierten Differenzsignals durch, woraufhin die IDCT-Einheit 905 eine inverse Frequenztransformation für den Ausgang DEg1 des Quantifizierers 904 durchführt, indem sie ein Signal im Frequenzbereich zu einem Signal im Raumbereich transformiert.
Die Bewegungskompensationseinheit 911 erzeugt die Adresse Add2 für den Zugriff auf den Vollbildspeicher 909 entsprechend dem Bewegungsvektor MV von der Datenanalyseeinheit 902 und extrahiert das Vorhersagebildsignal Pg2 des Zielblocks aus dem wiederhergestellten Bildsignal, das im Vollbildspeicher 909 gespeichert ist. Der Addierer 906 addiert den Ausgang DEg der Datenexpansionseinrichtung zum Vorhersagebildsignal Pg2 und gibt das wiederhergestellte Bildsignal PEg des Zielblocks aus.
Das wiedergegebene Bildsignal wird der inversen Blockbildungseinheit 907 und dem Vorhersageabschnitt 910a zugeführt.
Die inverse Blockbildungseinheit 907 integriert die wiedergegebenen Bildsignale, um diese in das wiedergegebene Bildsignal der Abtastzeilenstruktur umzusetzen.
Im Vorhersageabschnitt 910a wird das wiedergegebene Bildsignal PEg über den Primärschalter 922 entweder der Vollbildauffülleinheit 921a oder der Halbbildauffülleinheit 921b zugeführt. Das Schalten des Primärschalters 922 wird entsprechend dem Abtastidentifizierer Di von der Datenanalyseeinheit 902 gesteuert. Wenn der Wert des Abtastidentifizierers Di gleich 1 ist, d. h. es liegt eine hohe Korrelation zwischen den Bildpunkten in den Halbbildern vor, wird das wiedergegebene Bildsignal PEg über den Schalter 922 der Halbbildauffülleinheit 921b zugeführt und einer Intra-Halbbild-Auffüllung unterworfen.
Genauer, wie in Fig. 10(c) gezeigt, wird das Auffüllen für das wiedergegebene Bildsignal PEg der kleinen Blöcke 251 und 252, die erste Halbbildzeilen im Bildraum 250c umfassen, zu einem Zeitpunkt durchgeführt, und für das Signal PEg der kleinen Blöcke 253 und 254, die die zweiten Halbbildzeilen im Bildraum 250c umfassen, der dem wiedergegebenen Bildsignal PEg entspricht, zu einem Zeitpunkt durchgeführt.
Wenn andererseits der Wert des Abtastidentifizierers gleich 0 ist, d. h. es liegt eine hohe Korrelation zwischen den Bildpunktwerten im Vollbild vor, wird das wiedergegebene Bildsignal PEg über den Schalter 922 der Vollbildauffülleinheit 921a zugeführt und einer Intra-Vollbild-Auffüllung unterworfen. Genauer, wie in Fig. 10(b) gezeigt, wird das Auffüllen für das wiedergegebene Bildsignal PEg der kleinen Blöcke 255-258 im Bildraum 250b, die dem wiedergegebenen Bildsignal PEg entsprechen, zu einem Zeitpunkt durchgeführt.
Das so aufgefüllte wiedergegebene Bildsignal Pas wird zur Bildpunktumordnungseinheit 924 über den Sekundärschalter 923 gesendet. Die Bildpunktumordnungseinheit 924 ordnet die Bildpunkte des ersten Halbbildes und die Bildpunkte des zweiten Halbbildes so um, daß sie eine Bildpunktanordnung des verschachtelten Bildes aufweisen, für den Block, der halbbildweise aufgefüllt worden ist. Zum Beispiel konvertiert die Bildpunktumordnungseinheit 924 das wiedergegebene Bildsignal Pas zu einem wiedergegebenen Bildsignal des Bildraums 250e, in dem die Zeilen des oberen Bereiches 250d1 im Bildraum 250d und die Zeilen des unteren Bereiches 250d2 im kleinen Bildraum 250d (siehe Fig. 10(d)) abwechselnd angeordnet sind. Andererseits führt die Bildpunktumordnungseinheit 924 für den Block, der vollbildweise aufgefüllt worden ist, keine Umordnung der Bildpunkt durch. Das so umgeordnete wiedergegebene Bildsignal Pa wird im Vollbildspeicher 909 gespeichert.
In dieser vierten Ausführungsform ist ein Fall beschrieben, in welchem das wiedergegebene Bildsignal PEg, das dem verschachtelten Bild entspricht, den Bildraum 250d in Fig. 10(d) bildet, dessen obere und untere Bereiche 250d1 und 250d2 aus ungeradzahligen Zeilen bzw. geradzahligen Zeilen bestehen. Für den Fall andererseits, in welchem das wiedergegebene Bildsignal PEg mit verschmolzenen Halbbildern 1 und 2 ausgegeben wird, d. h. das wiedergegebene Bildsignal PEg, das dem verschachtelten Bild entspricht, bildet den Bildraum 250 in Fig. 10(a), wo ungeradzahlige und geradzahlige Zeilen abwechselnd angeordnet sind, wird es notwendig, ein Implementierungsverfahren der Halbbildauffülleinheit 921b zu ändern. In diesem Fall müssen vor dem Auffüllen die Bildpunkte des wiedergegebenen Bildsignals PEg umgeordnet werden, so daß sie in den Bildraum 250d konvertiert werden, dessen obere und untere Bereiche die Halbbilder 1 und 2 sind, die jeweils in fig. 10(b) gezeigt sind.
Auch in dem Fall, in dem das wiedergegebene Bildsignal PEg mit verschmolzenen Halbbildern 1 und 2 ausgegeben wird, wie oben beschrieben, können die Abtastwerte der aufzufüllenden Bildpunkte (unwesentliche Bildpunkte) ersetzt werden durch Abtastwerte der wesentlichen Bildpunkte, die von den unwesentlichen Bildpunkten einen Abtastwert beabstandet sind, ohne Bildpunktumordnung, für das Bildsignal, das einem Vollbild entspricht, statt der Umordnung der Bildpunkte durch die Halbbildauffülleinheit 921, so daß ungeradzahlige Zeilen und geradzahlige Zeilen des Vollbildes jeweils in oberen und unteren Bereichen gesammelt werden, worauf ein halbbildweises Auffüllen folgt.
Obwohl außerdem in der vierten Ausführungsform die Bildpunkte des Ausgangs der Halbbildauffülleinheit umgeordnet werden, kann die Bildpunkturnordnungseinheit 924 weggelassen werden, wenn der Ausgang der Halbbildauffülleinheit direkt im Vollbildspeicher gespeichert wird, da keine Notwendigkeit für die Umordnung der Bildpunkte besteht.
Während außerdem in der vierten Ausführungsform das codierte Bildsignal, das mittels DCT komprimiert worden ist, eingegeben wird, kann das eingegebene codierte Bildsignal ein codiertes Bildsignal sein, das mittels Wavelet, Fraktal oder dergleichen codiert worden ist. Auch in diesem Fall, wie im Fall der vierten Ausführungsform, kann das Umschalten zwischen der Halbbildauffüllung und der Vollbildauffüllung durchgeführt werden, entsprechend dem Grad der Korrelation zwischen den Bildpunkten im Halbbild.
Während außerdem der Bitstrom 200 einen Abtastidentifizierer für jeden Block umfaßt, können alle Blöcke den gleichen Abtastidentifizierer gemeinsam nutzen. In diesem Fall muß das Bildsignal hinsichtlich der Effizienz der Signalformtransformation zuerst in die Halbbilder 1 und 2 unterteilt werden, woraufhin es der Blockbildung und Codierung unterworfen wird.
Wenn sich ferner alle Blöcke den obenbeschriebenen Abtastidentifizierer teilen, kann er in einem Bild am Kopf eines codierten Bildsignals vorgesehen sein. In diesem Fall kann selbstverständlich der gleiche Identifizierer allen Blöcken zugewiesen werden.

Modifikation 1 der vierten Ausführungsform

Fig. 15 ist ein Blockschaltbild, das eine Bilddecodierungsvorrichtung gemäß einer Modifikation 1 der vierten Ausführungsform zeigt.
Die Konstruktion und die Operation einer Bilddecodierungsvorrichtung 900b dieser Ausführungsform sind grundsätzlich denjenigen der Bilddecodierungsvorrichtung 900a der vierten Ausführungsform in Fig. 14 ähnlich.
In der Bilddecodierungsvorrichtung 900b ist der Vorhersageabschnitt 910a der Bilddecodierungsvorrichtung 900a der vierten Ausführungsform ersetzt durch einen Vorhersageabschnitt 910b, der sich in der Konstruktion von diesem unterscheidet.
Im Vorhersageabschnitt 910b ist die Auffülleinrichtung 920b zwischen einer Bewegungskompensationseinheit 911 und einem Addierer 906 vorgesehen für die Durchführung des Auffüllens für ein bewegungskompensiertes Vorhersagebildsignal Pg2 und zum Zuführen des resultierenden Signals zum Addierer 906. Die Auffülleinrichtung 920b enthält eine Vollbildauffülleinheit 921a, eine Halbbildauffülleinheit 921b, einen Primärschalter 922 zum Zuführen des Vorhersagebildsignals Pg2 von der Bewegungskompensationseinheit 911 zu einer dieser Auffülleinheiten entsprechend dem Abtastidentifizierer Di, und einen Sekundärschalter 923 zum Auswählen der Ausgänge der Auffülleinheiten entsprechend dem Abtastidentifizierer Di und zum Ausgeben eines ausgewählten Signals an den Addierer 906.
Im folgenden werden die Operation und die Auswirkungen beschrieben.
Die Bewegungskompensation wird für das verschachtelte Bild vollbildweise oder halbbildweise durchgeführt. Die vollbildweise Bewegungskompensation wird durchgeführt durch Erhalten eines Vorhersagebildsignals von einem Vollbild, während die halbbildweise Bewegungskompensation durchgeführt wird durch getrenntes Erhalten eines Vorhersagebildsignals von den entsprechenden ersten und zweiten Halbbildern.
Die Bilddecodierungsvorrichtung 900b gemäß der Modifikation 1 der vierten Ausführungsform sorgt für eine Effektivität in der halbbildweisen Bewegungskompensation. In der Bilddecodierungsvorrichtung 900b wird das Umschalten des Primärschalters 922 entsprechend dem Abtastidentifizierer Di von der Datenanalyseeinheit 902 gesteuert, wobei der Ausgang der Bewegungskompensationseinheit 911 in die Vollbildauffülleinheit 921a oder die Halbbildauffülleinheit 921b eingegeben wird. Das Vorhersagebildsignal wird aufgefüllt von einer dieser Auffülleinheiten und dem Addierer 906 zugeführt.
Da in dieser Modifikation 1 der vierten Ausführungsform das Ausfüllen für das Vorhersagebildsignal durchgeführt wird, das aus dem Vollbildspeicher 909 geholt wird, kann die Menge der auszufüllenden Signale im Vorhersageabschnitt reduziert werden im Vergleich zu einem Fall, in welchem das Auffüllen für alle wiedergegebenen Bildsignale durchgeführt wird, die im Vollbildspeicher 909 gespeichert sind.

Modifikation 2 der vierten Ausführungsform

Fig. 16 ist ein Blockschaltbild, das eine Bilddecodierungsvorrichtung gemäß der Modifikation 2 der vierten Ausführungsform zeigt. Eine Bilddecodierungsvorrichtung 900c gemäß der Modifikation 2 der vierten Ausführungsform weist die Konstruktionen der Bilddecodierungsvorrichtung 900a der vierten Ausführungsform und der Bilddecodierungsvorrichtung 900b ihrer Modifikation 1 in Kombination auf. Mit anderen Worten, zusätzlich zum Vorhersageabschnitt 910a, der die Auffülleinrichtung 920a der Bilddecodierungsvorrichtung 900a der vierten Ausführungsform enthält, enthält die Bilddecodierungsvorrichtung 900c eine Zusatzauffülleinrichtung (zweite Auffülleinrichtung) 920c2, die an der nächsten Stufe der Bewegungskompensationseinheit 911 vorgesehen ist, deren Ausgang an den Addierer 906 ausgegeben wird. Hierbei wird angenommen, daß die Konstruktionen der ersten und zweiten Auffülleinrichtungen 920c1 und 920c2 identisch sind mit denjenigen der Auffülleinrichtung 920a der vierten Ausführungsform und der Auffülleinrichtung 920b der Modifikation 1 der vierten Ausführungsform.
In der so konstruierten Modifikation 2 der vierten Ausführungsform können sich die ersten und zweiten Auffülleinrichtungen 920c1 und 920c2 das Auffüllen teilen, wodurch das Auffüllen im Vorhersageabschnitt mit höherer Effizienz durchgeführt werden kann.
Ferner ist ein Programm zur Implementierung des digitalen Bildauffüllverfahrens oder der Bildverarbeitungsvorrichtung, die in den jeweiligen Ausführungsformen gezeigt sind, in einem Datenaufzeichnungsmedium aufgezeichnet, wie z. B. einer Diskette, wodurch die Verarbeitung leicht auf einem unabhängigen Computersystem durchgeführt werden kann.
Fig. 17 ist ein Schaubild, das einen Fall zeigt, bei dem die Bildverarbeitung des digitalen Auffüllverfahrens oder die Bildcodierung oder die Bilddecodierung der Bildverarbeitungsvorrichtung in den obigen Ausführungsformen in einem Computersystem durchgeführt wird unter Verwendung einer Diskette, die ein Programm dieser Bildverarbeitung enthält.
Fig. 17(b) zeigt eine Vorderansicht und einen Querschnitt einer Diskette FD, sowie eines Diskettenkörpers als Aufzeichnungsmedium. Fig. 17(a) zeigt ein physikalisches Format des Diskettenkörpers D. Der Diskettenkörper D ist in einem Gehäuse F untergebracht, wobei auf einer Oberfläche des Diskettenkörpers D mehrere Spuren Trs von ihrem äußeren bis zum inneren Radius ausgebildet sind, wobei jede Spur in Winkelrichtung in 16 Sektoren Se unterteilt ist. Somit sind auf der Diskette D, die das Programm enthält, die Daten des Programms in einem zugewiesenen Bereich der Diskette FD aufgezeichnet.
Fig. 17(c) zeigt eine Konstruktion der Aufzeichnung und der Wiedergabe des Programms auf/von der Diskette FD. Im Fall der Aufzeichnung des Programms auf der Diskette FD werden die Daten des Programms über das Diskettenlaufwerk FDD vom Computersystem Cs auf diese geschrieben. In einem weiteren Fall der Konstruktion des Bilddecodierungsverfahrens in dem Computersystem Cs mittels des Programms auf der Diskette FD wird das Programm von der Diskette FD unter Verwendung des Diskettenlaufwerks FDD gelesen und zum Computersystem Cs übertragen.
Obwohl die Bildverarbeitung in einem Computersystem unter Verwendung der Diskette als Datenaufzeichnungsmedium beschrieben worden ist, kann diese Bildverarbeitung auch unter Verwendung einer optischen Platte durchgeführt werden. Außerdem ist das Aufzeichnungsmedium nicht hierauf beschränkt, wobei eine IC- Karte, eine ROM-Kassette usw. verwendet werden können, sofern sie ein Programm aufzeichnen können.

Industrielle Anwendbarkeit

Wie oben beschrieben worden ist, können das digitale Bildauffüllverfahren, die Bildverarbeitungsvorrichtung und das Datenaufzeichnungsmedium der vorliegenden Erfindung die Codierungseffizienz bei der Kompression eines Bildsignals erhöhen, wobei sie bei der Implementierung der Codierung oder der Bilddecodierung in einem System, welches das Bildsignal überträgt/speichert, sehr nützlich sind, und wobei sie gleichzeitig geeignet sind für die Kompression und Expansion eines bewegten Bildes entsprechend einer Norm, wie z. B. MPEG4.

Claims

1. Digitales Bildauffüllverfahren, bei dem ein Auffüllen von Bildpunktwerten in einem digitalen Bildsignal durchgeführt wird, das einen ursprünglichen Bildraum mit einem Bild mit beliebiger Form und mit wesentlichen Bildpunkten und unwesentlichen Bildpunkten bildet, wobei das Verfahren umfasst:

einen Bildpunktumordungsschritt, bei dem eine Vielzahl von Bildpunkten in dem ursprünglichen Bildraum entsprechend einer vorbestimmten Regel gruppiert werden, um eine Vielzahl von kleinen Bildräumen jeweils mit Bildpunkten derselben Gruppe zu bilden; und

einen Bildpunktauffüllschritt, bei dem Werte unwesentlicher Bildpunkte in jedem kleinen Bildraum durch mittels eines vorbestimmten Verfahrens erzeugte Auffüllbildpunktwerte ersetzt werden.

2. Digitales Bildauffüllverfahren nach Anspruch 1, wobei das Auffüllen in dem Bildpunktumorganisationsschritt durchgeführt wird durch Extrahieren von Bildpunkten bei jedem (N + 1)-ten (N: positive ganze Zahl) Bildpunkt in einer vorbestimmten Richtung des ursprünglichen Bildraums in (N + 1) Wiederholungen unter Verwendung der ersten bis (N + 1)-ten Bildpunkte als Startprobenbildpunkte, zur Erzeugung von (N + 1) Teilen von kleinen Bildräumen, die jeweils eine vorbestimmte Zahl von durch genau ein Auffüllen erhaltenen Bildpunkten aufweisen.

3. Digitales Bildauffüllverfahren nach Anspruch 2, wobei Betriebswerte, die durch Ausführen von Operationen an Werten wesentlicher Bildpunkte in einem n-ten (n = 1, 2, ..., N + 1) kleinen Bildraum erhalten wurden, als die Auffüllbildpunktwerte zum Ersetzen der Werte unwesentlicher Bildpunkte in dem n-ten kleinen Bildraum verwendet werden.

4. Digitales Bildauffüllverfahren nach Anspruch 3, des weiteren umfassend einen Bildraumwiederherstellungsschritt, bei dem eine Vielzahl von aufgefüllte kleine Bildräume bildenden Bildpunkten gemäß einer an die vorbestimmte Regel der Gruppierung angepassten Regel umgeordnet werden, so dass die Bildpunkte einen wiederhergestellten Bildraum bilden, der dieselbe Bildpunktumordnung wie der ursprüngliche Bildraum aufweist.

5. Digitales Bildauffüllverfahren nach Anspruch 4, wobei durch Ausführen von Operationen an Werten wesentlicher Bildpunkte in einem n-ten (n = 1, 2, ..., N + 1) kleinen Bildraum erhaltene Betriebswerte als die Auffüllbildpunktwerte zum Ersetzen der Werte der unwesentlichen Bildpunkte in dem n-ten kleinen Bildraum verwendet werden.

6. Digitales Bildauffüllverfahren nach Anspruch 1, wobei in dem Bildpunktumordnungsschritt ein Abtasten fortlaufend zweifach durchgeführt wird unter Verwendung der ersten und zweiten Bildpunktreihen als Startprobenbildpunktreihen, durch Extrahieren von Bildpunkten an jeder zweiten Bildpunktreihe in der vertikalen Richtung des ursprünglichen Bildpunktraums, um erste und zweite kleine Bildräume jeweils mit einer vorbestimmten Zahl von durch erste bzw. zweite Abtastungen erhaltenen Bildpunkten zu bilden.

7. Digitales Bildauffüllverfahren, bei dem ein Auffüllen von Bildpunktwerten bei einem einen ursprünglichen Bildraum mit einem Bild mit einer beliebigen Form und mit wesentlichen Bildpunkten und unwesentlichen Bildpunkten bildenden digitalen Bildsignal durchgeführt wird, wobei das Verfahren die Schritte umfasst, Aufteilen des ursprünglichen Bildraums in einen ersten kleinen Bildraum mit Bildpunkten aus ungeradzahligen Bildpunktreihen in dem ursprünglichen Bildraum und einen zweiten kleinen Bildraum mit Bildpunkten aus geradzahligen Bildpunktreihen in dem ursprünglichen Bildraum; und Erzeugen erster Ausfüllbildpunktwerte aus Werten wesentlicher Bildpunkte in dem ersten kleinen Bildraum und Ersetzen der Werte unwesentlicher Bildpunkte in dem ersten kleinen Bildraum durch die ersten Ausfüllbildpunktwerte, und Erzeugen zweiter Ausfüllbildpunktwerte aus Werten wesentlicher Bildpunkte in dem zweiten kleinen Bildraum und Ersetzen von Werten unwesentlicher Bildpunkte in dem zweiten kleinen Bildraum durch die zweiten Ausfüllbildpunktwerte.

8. Digitales Bildausfüllverfahren, bei dem ein Ausfüllen bei einem einen ursprünglichen Bildraum mit einem Bild mit beliebiger Form und mit wesentlichen Bildpunkten und unwesentlichen Bildpunkten bildenden digitalen Bildraum durchgeführt wird, durch Ersetzen von Werten unwesentlicher Bildpunkte durch Ausfüllen mit aus Werten wesentlicher Bildpunkte in dem ursprünglichen Bildraum gebildeten Bildpunktwerten, wobei wesentliche Bildpunkte, die Werte zur Verwendung bei der Bestimmung der Ausfüllbildpunktwerte aufweisen, Bildpunkte sind, die nicht zu den auszufüllenden unwesentlichen Bildpunkten benachbart sind.

9. Digitales Bildausfüllverfahren nach Anspruch 8, wobei wesentliche Bildpunkte, die Werte zur Verwendung bei der Bestimmung der Ausfüllbildpunktwerte aufweisen, um einen Bildpunkt von den auszufüllenden unwesentlichen Bildpunkten beabstandet sind.

10. Bildverarbeitungsvorrichtung zur Durchführung einer Bildcodierung, die umfasst eine Korrelationsidentifizierungseinrichtung zum Identifizieren einer Korrelation zwischen Bildpunktwerten eines digitalen Bildsignals und zum Ausgeben einer Abtastidentifizierung gemäß dem Identifikationsergebnis, einen Codierteil zum durchführen einer Differenzcodierung des digitalen Bildsignals durch die Verwendung eines Vorhersagebildsignals gemäß der Abtastidentifizierung und zum Ausgeben eines codierten Bildsignals, und ein Vorhersageteil zum Erzeugen des Vorhersagebildsignals basierend auf einem decodierten Bildsignal bei dem das codierte Bildsignal lokal decodiert wurde,

wobei der Codierteil umfaßt:

einen Subtrahierer zum Ausgeben einer Differenz zwischen dem digitalen Bildsignal und dem Vorhersagebildsignal als ein Differenzbildsignal;

eine Datenkompressionseinrichtung zum Komprimieren des Differenzbildsignals, um ein komprimiertes Differenzbildsignal zu Erhalten; und

einen Codierer mit variabler Länge zum Durchführen einer Codierung mit variabler Länge an dem komprimierten Differenzsignal, und wobei der Vorhersageteil umfasst:

ein Datenexpansionseinrichtung zum Expandieren des komprimierten Differenzsignals, um ein expandiertes Differenzsignal zu erzeugen;

einen Addierer zum Addieren des expandierten Differenzsignals zu dem Vorhersagebildsignal, um ein decodiertes Bildsignal zu erzeugen;

eine Auffülleinrichtung zum Durchführen einer Auffüllung gemäß der Abtastidentifizierung durch Umordnen von Bildpunkten in einem durch das decodierte Bildsignal erzeugten Bildraum und zum Ersetzen von Werten unwesentlicher Bildpunkte in dem Bildraum, wobei die Bildpunkte mit durch ein vorbestimmtes Verfahren erzeugten Auffüllbildpunktwerten umgeordnet wurden; und

eine Vorhersagebildsignalerzeugungseinrichtung zum Erzeugen des Vorhersagebildsignals aus dem aufgefüllten decodierten Bildsignal gemäß der Abtastidentifizierung.

11. Bildverarbeitungsvorrichtung nach Anspruch 10,

wobei der Codierungsteil des weiteren umfaßt:

eine Auffülleinrichtung zum Durchführen einer Auffüllung an dem Differenzbildsignal gemäß der Abtastidentifizierung durch Umordnen von Bildpunkten in einem durch das Differenzbildsignal erzeugten Bildraum und Ersetzen von Werten unwesentlicher Bildpunkte in dem Bildraum, wobei die Bildpunkte mit durch ein vorbestimmtes Verfahren erzeugten Auffüllbildpunktwerten umgeordnet wurden, und

wobei die Datenkompressionseinrichtung eine Informationskompression an dem aufgefüllten Differenzbildsignal durchführt, um ein komprimiertes Differenzsignal zu erzeugen.

12. Bildverarbeitungsvorrichtung zur Durchführung einer Bilddecodierung, die umfasst einen Wiedergabeteil zum Wiedergeben eines codierten Bildsignals, bei dem ein digitales Bildsignal durch die Verwendung eines Vorhersagebildsignals des digitalen Bildsignals codiert wurde, und Ausgeben eines wiedergegebenen Bildsignals, und einen Vorhersageteil zum Erzeugen des Vorhersagebildsignals aus dem wiedergegebenen Bildsignal,

wobei der Wiedergabeteil umfasst:

eine Datenanalyseeinheit zum Analysieren des codierten Bildsignals, um ein komprimiertes Differenzsignal des digitalen Bildsignals und

eine Korrelation zwischen Bildpunktwerten des digitalen Bildsignals angebende Abtastidentifizierung aus dem codierten Bildsignal zu extrahieren;

eine Datenexpansionseinrichtung zum Expandieren des komprimierten Differenzsignals, um ein expandiertes Bildsignal zu erzeugen; und

einen Addierer zum Addieren des expandierten Differenzsignals zu dem Vorhersagesignal, um das wiedergegebene Bildsignal zu erzeugen, und

in dem Vorhersageteil,

Verwenden zumindest eines aus dem wiedergegebenen Bildsignal und aus dem wiedergegebenen Bildsignal erhaltenen Vorhersagebildsignal als ein auszufüllendes Signal, wobei das Ausfüllen an dem auszufüllenden Signal gemäß der Abtastidentifizierung durchgeführt wird, durch Umordnen von Bildpunkten in einem durch das auszufüllende Signal gebildeten Bildraum und Ersetzen von Werten unwesentlicher Bildpunkte in dem Bildraum, wobei die Bildpunkte mit durch ein vorbestimmtes Fahren erzeugten Ausfüllbildpunktwerten umgeordnet wurden.

13. Bildverarbeitungsvorrichtung nach Anspruch 12,

wobei der Vorhersageteil des weiteren umfasst:

eine Ausfülleinrichtung zum Durchführen einer bild- oder halbbildweisen Auffüllung des wiedergegebenen Bildsignals gemäß der Abtastidentifizierung, und einen Bildspeicher zum Speichern eines aufgefüllten wiedergegebenen Bildsignals, in dem das wiedergegebene Bildsignal aufgefüllt wurde, und das in dem Bildspeicher gespeicherte aufgefüllte wiedergegebene Bildsignal als das Vorhersagebildsignal an den Wiedergabeteil ausgibt.

14. Bildverarbeitungsvorrichtung nach Anspruch 12, wobei der Vorhersageteil des weiteren umfasst einen Bildspeicher zum Speichern des wiedergegebenen Bildsignals, und eine Auffülleinrichtung zum Durchführen einer bild- oder halbbildweisen Auffüllung des aus dem in dem Bildspeicher gespeicherten wiedergegebenen Bildsignal extrahierten Vorhersagebildsignal gemäß der Abtastidentifizierung, und das aufgefüllte Vorhersagebildsignal an den Wiedergabeteil ausgibt.

15. Bildverarbeitungsvorrichtung zum Durchführen einer Bilddecodierung, die umfasst einen Wiedergabeteil zum Wiedergeben eines codierten Bildsignals, in dem ein digitales Bildsignal durch die Verwendung eines Vorhersagebildsignals des digitalen Bildsignals codiert wurde, und Ausgeben eines wiedergegebenen Bildsignals, und einen Vorhersageteil zum Erzeugen des Vorhersagebildsignals aus dem wiedergegebenen Bildsignal,

wobei der Wiedergabeteil umfasst:

eine Datenanalyseeinheit zum Analysieren des codierten Bildsignals, um ein komprimiertes Differenzsignal des digitalen Bilds und eine eine Korrelation zwischen Bildpunktwerten des digitalen Bildsignals angebende Abtastidentifizierung aus dem codierten Bildsignal zu extrahieren;

eine Datenexpansionseinrichtung zum Expandieren des komprimierten Differenzsignals, um ein expandiertes Differenzsignal zu erzeugen; und

einen Addierer zum Addieren des expandierten Differenzsignals zu dem Vorhersagebildsignal, um das wiedergegebene Bildsignal zu erzeugen,

wobei der Vorhersageteil umfasst:

eine Ausfülleinrichtung zum Durchführen eines Ausfüllens des wiedergegebenen Bildsignals gemäß der Abtastidentifizierung durch Ersetzen von Werten unwesentlicher Bildpunkte in einem durch das wiedergegebene Bildsignal gebildeten Bildraum durch Ausfüllbildpunktwerte, die aus Werten von wesentlichen Bildpunkten erzeugt werden, die keine zu den unwesentlichen Bildpunkten benachbarten Bildpunkte sind; und

eine Umordnungseinrichtung zum Umordnen von Bildpunkten in einem durch das aufgefüllte wiedergegebene Bildsignal gemäß der Abtastidentifizierung gebildeten Bildraum.

16. Datenaufzeichnungsmedium, in dem ein Programm gespeichert ist, dass einen Computer veranlasst zum Auffüllen von Bildpunktwerten bei einem einen ursprünglichen Bildraum mit einem Bild mit beliebiger Form und mit wesentlichen Bildpunkten und unwesentlichen Bildpunkten bildenden digitalen Bildsignal, wobei das Programm den Computer veranlasst zum Durchführen eines Ausfüllens von Bildpunktwerten gemäß dem digitalen Ausfüllverfahren nach Anspruch 1.

17. Datenaufzeichnungsmedium, in dem ein Programm gespeichert ist, das einen Computer veranlasst zum Durchführen eines Ausfüllens von Bildpunktwerten bei einem einen ursprünglichen Bildraum mit einem Bild mit beliebiger Form und wesentlichen Bildpunkten und unwesentlichen Bildpunkten bildenden digitalen Bildsignal, wobei das Programm den Computer veranlasst zum Durchführen eines Ausfüllens von Bildpunktwerten gemäß dem digitalen Bildausfüllverfahren nach Anspruch 7.

18. Datenaufzeichnungsmedium, in dem ein Programm gespeichert ist, dass einen Computer veranlasst zum Durchführen eines Ausfüllens von Bildpunktwerten bei einem einen ursprünglichen Bildraum mit einem Bild mit beliebiger Form und mit wesentlichen Bildpunkten und unwesentlichen Bildpunkten bildenden digitalen Bildsignal, wobei das Programm den Computer veranlasst zum Durchführen eines Ausfüllens von Bildpunktwerten gemäß dem digitalen Bildausfüllverfahren nach Anspruch 8.

19. Datenaufzeichnungsmedium zum Speichern eines Programms, das einen Computer veranlasst zum Durchführen einer Bildsignalcodierung, wobei das Programm den Computer veranlasst zum Durchführen einer Differenzcodierung bei einem digitalen Bildsignal durch die Bildverarbeitungsvorrichtung nach Anspruch 10.

20. Datenaufzeichnungsmedium, in dem ein Programm gespeichert ist zum Veranlassen eines Computers zum Durchführen einer Bildsignalcodierung, wobei das Programm den Computer veranlasst zum Durchführen einer Differenzcodierung eines digitalen Bildsignals durch die Bildverarbeitungsvorrichtung nach Anspruch 12.

21. Datenaufzeichnungsmedium in dem ein Programm gespeichert ist, das einen Computer veranlasst zum Durchführen einer Bildsignaldecodierung, wobei das Programm den Computer veranlasst zum Durchführen einer Differenzdecodierung eines digitalen Bildsignals durch die Bildverarbeitungsvorrichtung nach Anspruch 15.