DE602004010683T2

DE602004010683T2 - Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich

Info

Publication number: DE602004010683T2
Application number: DE602004010683T
Authority: DE
Inventors: Cristina Princeton GOMILA; Joan Princeton LLACH
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2003-08-29
Filing date: 2004-04-07
Publication date: 2009-01-02
Anticipated expiration: 2024-04-08
Also published as: EP1661089A1; CN1842822A; RU2006110037A; JP2011004437A; PL1661089T3; MY136026A; AU2004273405A1; WO2005027045A1; US20060292837A1; DE602004010683D1; KR20060121832A; RU2332715C2; AU2004273405B2; US7738721B2; MXPA06002339A; BRPI0413904A; ZA200601707B; ATE381076T1; BRPI0413904B1; CA2537000C

Description

TECHNISCHES SACHGEBIET
Die Erfindung bezieht sich auf ein Verfahren zur Nachbilding von Filmkornmustern in dem Frequenzbereich.
STAND DER TECHNIK
Filme enthalten üblicherweise signalabhängiges Rauschen, oft als Filmkorn bezeichnet, das vom Prozess der Belichtung und Entwicklung des photographischen Films herrührt. Solches Rauschen ergibt eine charakteristische quasi-zufällige Struktur oder Textur, die durch die physikalische Körnigkeit der photographischen Emulsion verursacht wird. Alternativ kann signalabhängiges Rauschen als Ergebnis von nachfolgender Bearbeitung der Bilder auftreten. Die Kornstruktur kann für Video-Kompressionszwecke simuliert werden.
US-A-5,641,596 offenbart ein Verfahren zum Einwirken auf ein gespeichertes digitales Bild, um Filmkornrauschen abzuschwächen. Zunächst wird die Statistik der Kornstrukturen in einem Bild aus einer digitalen Bilddatei herangezogen, die durch Abtastung einer Filmlänge gewonnen wird. Die herausgezogene Statistik wird gespeichert und anschließend dazu verwendet, auf das digitale Bild so einzuwirken, dass das Filmkornrauschen abgeschwächt wird. Alternativ werden Filmkornstrukturen durch Skalieren räumlich gefilterter Zufallszahlen erzeugt.
Der ITU-T H.264|MPEG-4 AVC Video-Kompressions-Standard hat in seinem Fidelity Range Extensions Amendment die Einbeziehung einer Filmkorn-SEI-(Supplemental Enhancement Information)-Nachricht akzeptiert. Die Filmkorn-SEI-Nachricht übermittelt eine Reihe von Parametern, die eine Filmkorn-Simulation am Empfänger erlauben. Für den ITU-T H.264|MPEG- 4 AVC Kompressions-Standard können Parameter in der SEI-Nachricht nach zwei verschiedenen Modellen spezifiziert werden: dem auto-regressiven Modell und dem Frequenzfilterungs-Modell. Beide Modelle erlauben eine Charakterisierung der Filmkornstruktur (Größe und Form), der Intensität und der Farbkorrelation durch verschiedene Gruppen von Parametern für verschiedene Intensitätspegel. Insbesondere charakterisiert das Frequenzfilterungs-Modell die Filmkornstruktur durch Spezifizieren einer Gruppe von Grenzfrequenzen, die ein 2D-Bandpassfilter in dem Frequenzbereich definieren. Es sei bemerkt, dass ITU-T H.264|MPEG-4 AVC nur die Syntax normt, die zur Übertragung der Grenzfrequenzen notwendig ist, aber kein Verfahren zu ihrer Berechnung für eine Videosequenz mit Filmkorn vorsieht.
Somit besteht ein Bedarf für ein Verfahren, das die automatische Nachbildung der Filmkornstruktur in dem Frequenzbereich erlaubt, wie von dem Frequenzfilterungs-Modell in dem ITU-T H.264|MPEG-4 AVC Kompressions-Standard spezifiziert. Ergebnisse für dieses Verfahren können entweder für automatische Filmkorn-Nachbildungsanwendungen oder als Initialisierungs-Schritt für ein Filmkorn-gestütztes Nachbildungsverfahren verwendet werden.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Kurz gesagt ist gemäß einer bevorzugten Ausführungsform ein Verfahren zur Nachbildung (d. h. Charakterisierung) von Filmkornstrukturen in dem Frequenzbereich vorgesehen. Das Verfahren umfasst die Schritte: (1) Transformieren einer Gruppe von als Eingang zu dem Prozess empfangenen homogenen Filmkorn-Abtastungen, um dadurch eine Gruppe von Transformations-Koeffizienten mit einer bestimmten Struktur zu gewinnen; (2) Analysieren der von den transformierten Koeffizienten erstellten Struktur; und (3) Abschätzen der Grenzfrequenzen eines 2D-Frequenzfilters, das wirksam die Struktur von Transformations-Koeffizienten durch Filtern von weißem Rauschen simulieren kann. Die durch dieses Verfahren erstellten Grenzfrequenzen können in einer SEI-Nachricht gemäß dem ITU-T H.264|MPEG-4 AVC-Standard übertragen werden, wodurch die Filmkorn-Simulation und die Wiedereinführung bei einem Dekodierer ermöglicht wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt in einem Ablaufdiagramm die Schritte eines Verfahrens zur Charakterisierung von Filmkorn-Strukturen gemäß den vorliegenden Prinzipien; und
2 zeigt in einem Ablaufdiagramm eine Abwandlung des Filmkorm-Charakterisierungs-Verfahrens von 1.
AUSFÜHRLICHE BESCHREIBUNG
1 zeigt in Form eines Ablaufdiagramms die Schritte eines Verfahrens gemäß den vorliegenden Prinzipien zur Nachbildung einer Filmkornstruktur in dem Frequenzbereich bei Empfang einer Reihe von Filmkorn-Abtastungen, die eine homogene Filmkornstruktur darstellen. Wie nachfolgend in größeren Einzelheiten erläutert wird, parameterisiert das Verfahren der vorliegenden Prinzipien die Struktur der Eingangs-Abtastungen durch Analysieren von Größe und Form der das Korn bildenden Strukturen. Da das Korn je nach Filmbelichtung unterschiedliche Form haben kann, sind homogene Filmkorn-Abtastungen üblicherweise solche, die ähnlichen, auf dem Filmbild gemessenen Luminanzwerten zugeordnet werden. Filmkorn-Abtastungen am Eingang des Prozesses können jede Gruppe (oder Gruppen) von benachbarten Pixeln sein, die Informationen über Filmkorngröße und -form enthalten. Bei dem dargestellten Ausführungsbeispiel ist aus Vereinfachungsgründen angenommen, dass die Filmkorn-Abtastungen in quadratischen Blöcken von N×N Pixeln mit einer Transformations-Ausführung auf der basis einer DCT von quadratischen Blöcken von N×N Pixeln angeordnet werden, obwohl andere Transformationen, wie eine schnelle Fourier-Transformamtion, ebenso gut arbeiten.
Das Verfahren der vorliegenden Prinzipien nimmt an, dass die Nachbildung des in I_grain[x, y, c] vorhandenen Filmkorns gemäß der folgenden Beziehung auftritt: Igrain[x, y, c] = Iwithout grain[x, y, c] + G[x, y, c] (1)worin G[x, y, c] das simulierte Korn bei den Pixel-Koordinaten (x, y) für die Farbkomponente c darstellt. G[x, y, c] wird berechnet als: G[x, y, c] = p·Q[x, y, c] + u·G[x, y, c–1] (2)worin der Parameter p die Standard-Abweichung des weißen Rauschens ist und der Parameter u die Farb-Übersprech-Korrelation zwischen verschiedenen Farbkomponenten nachbildet. Insbesondere umfasst der Term Q[c] ein zweidimensionales Zufallsfeld, das durch Filtern von Blöcken b von N×M Zufallswerten erzeugt wird, die mit einer normierten Gaussschen Verteilung N(0, 1) erzeugt worden sind. Bei einer be sonderen Ausführungsform kann die Bandpassfilterung von Blöcken b in dem Frequenzbereich durch die folgenden drei Schritte ausgeführt werden:
Schritt 1: Transformation

B = DCT_N×M(b)

Schritt 2: Frequenzfilterung

für (y = 0; y < N; y++) für (x = 0; x < M; x++) wenn ((x < LOW_HF && y < LOW_VF)|| x > HIGH_HF||y > HIGH_VF) B[x, y] = 0;
worin LOW_HF und LOW_VF die niedrigen horizontalen bzw. vertikalen Grenzfrequenzen und HIGH_HF und HIGH_VF die hohen horizontalen bzw. vertikalen Grenzfrequenzen sind. Die Grenzfrequenzen definieren Grenzen zwischen aufrechterhaltenen und gefilterten Koeffizienten, wenn ein Filmkornbild in dem Frequenzbereich abgebildet wird, und sie dienen zur Charakterisierung der Größe des Korns.

Schritt 3: Inverse Transformation

b' = IDCT_N×M(B)

Schließlich wird Q[c] durch Kombinieren der gefilterten Blöcke b' in ein zusammengesetztes Bild gebildet. Tiefpassfilterung der Blockübergänge verhindert mögliche „Blockiness". Obwohl M und N jeden Wert annehmen können, arbeiten in der Praxis quadratische Blöcke aus 16×16, 8×8 oder 4×4 Pixeln am besten. Es sei bemerkt, dass andere Transformationen wie die schnelle Fourier-Transformation (FFT) den DCT-Prozess in den Schritten 1 und 3 ersetzen könnte.
Durch diese Prinzipien ist die Nachbildung der Filmkornstrukturen äquivalent zum Herausziehen der Grenzfrequenzen LOW_HF, LOW_VF, HIGH_HF und HIGH_VF, die das Bandpassfilter in dem Frequenzbereich charakterisieren.
Das Verfahren der vorliegenden Prinzipien beginnt mit der Ausführung von Schritt 101, bei dem jeder Block mit N×N Pixeln eine diskrete Cosinus-Transformation erfährt, mit anschließender Speicherung von resultierenden Gruppen von N×N Koeffizienten während des Schrittes 102. Während des Schrittes 103 erfolgt eine Prüfung, um zu entscheiden, ob ein Bedarf für mehr Blöcke mit Filmkorn-Abtastungen besteht, um mehr Koeffizienten für die Speicherung zu erhalten. Normalerweise erfahren alle am Eingang verfügbaren Blöcke mit Filmkorn-Abtastungen eine Transformation. Um jedoch die Speicher-Erfordernisse und Rechenlast zu vermindern, kann die Verarbeitung gestoppt werden, nachdem eine gewisse Zahl von Blöcken eine Transformation erfahren hat. Nach Speicherung einer ausreichenden Zahl von transformierten Blöcken folgt der Schritt 104, bei dem ein mittlerer Block (B_mean) durch Durchschnittsbildung der Koeffizienten von allen gespeicherten Blöcken berechnet wird. Unter der Annahme, dass K die Zahl der gespeicherten Blöcke ist, kann der Durchschnittsbildung-Prozess für den Koeffizienten an der Position [x, y] wie folgt formuliert werden:
Dann erfolgen die Schritte 105 und 106 üblicherweise parallel. Während des Schrittes 105 wird ein mittlerer horizontaler Vektor B_H durch Durchschnittsbildung der N Frequenzkoeffizienten jeder Reihe von B_mean gemäß der Beziehung berechnet:
Bei einer besonderen Ausführungsform ist es möglich, den Einfluss des DC-Koeffizienten auf den Durchschnitt der ersten Reihe mit der Beziehung zu vermeiden:
Beim Schritt 106 wird der mittlere vertikale Vektor durch Durchschnittsbildung der N Frequenzkoeffizienten jeder Spalte von B_mean gemäß der Beziehung berechnet:
Bei einer besonderen Ausführungsform ist es möglich, den Einfluss des DC-Koeffizienten auf den Durchschnitt der ersten Spalte mit der Beziehung zu vermeiden:
Aus den Frequenzvektoren erfolgt die Auswahl der horizontalen und vertikalen Grenzfrequenz während der Schritte 107 bzw. 108, um die Filmkorngröße abzuschätzen. Wie aus 1 ersichtlich ist, erfolgen die Schritte 107 und 108 üblicherweise parallel. Die Auswahl der horizontalen Grenzfrequenz erfolgt beim Schritt 107 wie folgt: zuerst werden die Komponenten in dem mittleren horizontalen Vektor einer Tiefpassfilterung unterworfen, um unerwünschte Spitzen zu vermeiden. Bei dem dargestellten Ausführungsbeispiel tritt eine solche Tiefpassfilterung des mittleren horizontalen Vektors durch Faltung des mittleren Vektors mit einem Filter mit dem Impulsansprechen h[n] gemäß der Beziehung auf:
Zum Beispiel könnte ein lineares Filter mit drei Anzapfungen mit den Koeffizienten w₀, w₁ und w₂ bei jedem Koeffizienten gemäß der Beziehung angewendet werden: B'H[n] = w0·BH[n – 1] + w1·BH[n] + w2·BH[n + 1], 0 < n < N – 1 (7)
Es sei bemerkt, dass es zur Anwendung der Filterung an den Rändern des mittleren Vektors B erforderlich ist, den ursprünglichen mittleren Vektor so einzubetten, dass die Abtastungen für n < 0 und n > N – 1 definiert werden.
Dann wird der Mittelwert von B'_H durch Durchschnittsbildung seiner Komponenten gemäß der Beziehung berechnet:
Danach wird der Vektor B'_H als Kurve dargestellt, und seine Schnittpunkte mit dem Durchschnittswert B'_H werden berechnet. Wenn ein einzelner Schnittpunkt gefunden wird, wird der Index n der am nächsten liegenden Komponente B'_H als der Wert der horizontalen hohen Grenzfrequenz gewählt; von der horizontalen niedrigen Grenzfrequenz wird angenommen, dass sie 0 ist. Wenn zwei Schnittpunkte gefunden werden, werden für jeden die Indices der am nächsten liegenden Komponenten gefunden. Der niedrigste Wert entspricht der niedrigen horizontalen Grenzfrequenz, während der höchste Wert der hohen horizontalen Grenzfrequenz entspricht. Wenn mehr als zwei Schnittpunkte gefunden werden, wird keine räumliche Korrelation festgestellt. Es wird angenommen, dass die horizontale niedrige Grenzfrequenz 0 und die horizontale hohe Grenzfrequenz N – 1 ist, wodurch der Filmkorn-Nachbildungsfunktion angezeigt wird, dass keine Frequenzfilterung erforderlich ist, um das ursprüngliche Korn zu imitieren.
Dieselbe Prozedur, die für die Auswahl der horizontalen Grenzfrequenz beschrieben wurde, erfolgt beim Schritt 108, um die vertikale Grenzfrequenz unter Verwendung des vertikalen Frequenzvektors B_V auszuwählen. Bei Abschluss der Schritte 107 und 108 ergibt das Verfahren vier Grenzfrequenzen (LOW_HF, HIGH_HF, LOW_VH, HIGH_VF). Längliches Korn tritt auf, wenn LOW_HF ≠ LOW_VF und/oder HIGH_HF ≠ HIGH_VF ist.
2 zeigt ein alternatives Korn-Nachbildungsverfahren, bei dem es möglich ist, das Korn auf Kreisform zu beschränken. Dies bedeutet, dass die horizontalen und vertikalen Grenzfrequenzen die gleichen bleiben. Das Verfahren von 2 enthält viele Schritte, die gemeinsam mit dem Verfahren von 1 sind. Daher werden in 2 gleiche Bezugsziffern wie in 1 zur Beschreibung gleicher Schritte verwendet. Das Verfahren von 2 unterscheidet sich von dem in 1 darin, dass von den vertikalen und horizontalen Frequenzvektoren (B_H und B_V) beim Schritt 109 in 2 der Durchschnitt gebildet wird, um einen einzigen Frequenzvektor (B) zu erstellen. Dann wird beim Schritt 110 in 2 dasselbe Verfahren durchgeführt, um niedrige und hohe Grenzfrequenzen abzuschätzen wie bei den Schritten 107 und 108 in 1.
Vorangehend wird ein Verfahren zur Nachbildung einer Filterkornstruktur in dem Frequenzbereich beschrieben.

Claims

Verfahren zum Nachbilden von Filmkorn in einem digitalen Bild, umfassend die Schritte: Transformieren einer Gruppe von Filmkorn-Abtastungen, die wenigstens eine Gruppe von benachbarten Pixeln umfassen, die Informationen über Filmkorn-Form und -Größe enthalten, in den Frequenzbereich (101); Speichern aller Gruppen von Koeffizienten, die aus einer solchen Transformation hervorgehen (102); Analysieren der transformierten Koeffizienten (104, 105, 106); und Abschätzen der Grenzfrequenzen eines Filters, das eine Verteilung der transformierten Koeffizienten simulieren kann.
Verfahren nach Anspruch 1, das ferner den Schritt der Übertragung wenigstens einer Grenzfrequenz als Ergänzungsinformation umfasst.
Verfahren nach einem der Ansprüche 1 bis 2, bei dem die Grenzfrequenzen abgeschätzt werden, um eine Verteilung der transformierten Koeffizienten durch Filtern von weißem Rauschen zu simulieren.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem die Filmkorn-Abtastungen in Blöcken von N×N Pixeln verarbeitet werden.
Verfahren nach Anspruch 4, bei dem der Schritt des Analysierens der transformierten Koeffizienten ferner die Schritte umfasst: Berechnen eines mittleren Blocks von N×N Transformations-Komponenten mittels Durchschnittsbildung der Transformations-Koeffizienten aus allen gespeicherten Blöcken nach einer Transformation jedes N×N Pixelblocks; Definieren mittlerer horizontaler und vertikaler Vektoren von N Komponenten jeweils durch Mittelwertbildung des mittleren Blocks von N×N Koeffizienten entlang Reihen bzw. Spalten; Darstellen der mittleren horizontalen und vertikalen Vektoren als getrennte Kurven; und Errichten horizontaler und vertikaler Grenzfrequenzen aus den durch die mittleren horizontalen bzw. vertikalen Vektoren dargestellten Kurven.
Verfahren nach Anspruch 5, das ferner den Schritt der Tiefpassfilterung wenigstens eines mittleren Vektors umfasst.
Verfahren nach Anspruch 4, bei dem der Schritt der Analyse der transformierten Koeffizienten weiter die folgen Den Schritte umfasst: Berechnen eines mittleren Blocks aus N×N Transformations-Koeffizienten mittels Durchschnittsbildung der Transformations-Koeffizienten aus allen gespeicherten Blöcken nach einer Transformation jedes Pixelblocks; Definieren mittlerer horizontaler und vertikaler Vektoren von N Komponenten jeweils durch Durchschnittsbildung des mittleren Blocks von N×N Transformations-Koeffizienten entlang Reihen bzw. Spalten; Durchschnittsbildung der mittleren horizontalen und vertikalen Vektoren in einen einzigen mittleren Vektor; Darstellen des einzigen mittleren Vektors als eine Kurve; und Errichten horizontaler und vertikaler Grenzfrequenzen aus der durch den einzigen mittleren Vektor dargestellten Kurve.
Verfahren nach Anspruch 7, das ferner den Schritt einer Tiefpassfilterung des mittleren vektors umfasst.
Verfahren nach einem der Ansprüche 5 bis 8, bei dem eine der horizontalen und vertikalen Grenzfrequenzen aus einem Schnittpunkt in der von den mittleren horizontalen und vertikalen Vektoren dargestellten Kurve mit für mittlere horizontale bzw. vertikale Vektoren berechneten Durchschnittswerten erstellt wird.
Verfahren nach einem der Ansprüche 5 bis 8, bei dem die horizontale und vertikale Grenzfrequenz jeweils aus einem ersten und zweiten Schnittpunkt in der von den mittleren horizontalen und vertikalen Vektoren dargestellten Kurve mit für mittlere horizontale bzw. vertikale Vektoren berechneten Durchschnittswerten erstellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Transformations-Koeffizienten eine Struktur bilden und das Filter, das Muster simulieren kann, ein 2D-Bandpassfilter ist.