DE19635544C2

DE19635544C2 - Verfahren zur Verbesserung der Bildqualität beim Transfer von Kino- und Schmalfilmen auf Videomaterial

Info

Publication number: DE19635544C2
Application number: DE19635544A
Authority: DE
Inventors: Werner Gampp; Wilfried Koch
Original assignee: Individual
Current assignee: Individual
Priority date: 1996-09-02
Filing date: 1996-09-02
Publication date: 2002-02-28
Anticipated expiration: 2016-09-03
Also published as: DE19635544A1

Description

1. Umfeld

Eine einfache Methode für den Transfer von Bewegtfilmen (Kinofilm, Schmalfilm) auf Videomaterial basiert auf einer direkten optischen Kopie: der vom Filmprojektor projizierte Film wird von einer Videokamera aufgenommen.

Diese Methode erfordert nur eine relativ preiswerte Geräteausstattung. Allerdings sind die dabei erzielten Ergebnisse durch verschiedene Effekte negativ beeinträchtigt. Die auffälligsten dieser Effekte sind:

1. Das Flimmern, hervorgerufen durch fehlende Synchronisation von Projektionseinrichtung und Abtastein richtung (Videokamera).
2. Eine als "Hot Spot" bekannte ungleichmäßige Helligkeitsverteilung. Selbst bei gleichmäßiger Helligkeits verteilung des Aufnahmegegenstands erscheint das Videobild in der Mitte heller als am Rande. Hervorgeru fen wird dieser Fehler durch Qualitätsmängel der meist verwendeten preiswerten Optiken.

Zur flimmerfreien Abtastung von Filmen beschreibt DE 29 14 644 B2 ein elektronisches Verfahren, bei dem die Korrektur von Störzonen direkt während der Abtastung erfolgt. Basis der Korrektur sind der Verlauf des Fernsehtakts und des Blendentakts. Das von uns beschriebene Verfahren ist hingegen zu jedem beliebigen Zeitpunkt nach der Übertragung auf Videomaterial einsetzbar. Die Korrektur basiert auf der Betrachtung der Helligkeitsverteilung und auf Methoden der Bildverarbeitung und benötigt keinerlei Information von den Übertragungseinrichtungen (Videokamera, Filmprojektor und deren Frequenzen).

In EP 0 562 657 A2 wird ein Verfahren zur Kompensation der Vignettierung bei bildgebenden Systemen beschrieben, wobei die Korrektur durch Verstärkung von Signalamplituden eines Videosignals erfolgt. Soweit ersichtlich wird dazu ein Testbild mit räumlich homogener Helligkeitsverteilung benötigt. Das hier beschriebene Verfahren benötigt kein solch vollständig homogenes Testbild, sondern berechnet die Korrektur mit einem Ausgleichsverfahren anhand eines nur zeilenweise homogenen Testbildes oder direkt aus dem zu korrigierenden beliebig strukturierten Filmmaterial. Im letzten Fall sind keinerlei Testaufnahmen erforderlich.

2. Kompensation des Flimmerns

Bild 1: Verlauf der Helligkeit bzw. Intensität einer Farbkomponente im Originalfilmmaterial.

Bild 2 : Prinzipieller Verlauf der Helligkeit bzw. Intensität einer Farbkomponente im durch Transfer erzeugten Video.

Ein Film, dessen originale mittlere Helligkeit gemäß Bild 1 verläuft, weist nach der optischen Videoübertra gung vor der Korrektur einen Helligkeitsverlauf nach Bild 2 auf.

Dieser Verlauf ist die Folge der Nichtsynchronität von Projektion und Videoabtastung. Im Amateurbereich erfolgt die Projektion z. B. mit 18 Bildern/s, wobei jedes projizierte Bild meist dreimal durch die Sektorenblende unterbrochen wird. Die Projektionsfrequenz beträgt dann scheinbar 54 B/s. Das Videosignal hingegen besitzt 50 (PAL-Europa) oder 60 Halbbilder/s. Diese Differenz führt zu einem Flimmern.

Ähnliche Verläufe wie in Bild 2 ergeben sich auch bei der separaten Betrachtung der Intensität der einzelnen Farbkomponenten rot, grün und blau.

Ziel des Verfahrens ist es, aus dem Helligkeitsverlauf nach Bild 2 den Helligkeitsverlauf nach Bild 1 zu rekonstruieren. Die Rekonstruktion kann ausschließlich auf Luminanzbasis oder für die drei Farbkomponenten getrennt erfolgen.

Das grundsätzliche Vorgehen ist für die Luminanzkorrektur und die Korrektur in den einzelnen Farbkompo nenten gleich. Zur Vereinfachung der Darstellung wird im folgenden nur noch von einer Korrektur der Lumi nanz (Helligkeit) gesprochen, auch wenn eine Korrektur der drei Farbkomponenten durchgeführt wird!

Die Helligkeitsverteilung eines Bildes kann durch ein Summenhäufigkeitsdiagramm beschrieben werden. Aus gangspunkt für die Korrektur sind die Summenhäufigkeitsdiagramme für die Helligkeitswerte der Einzelbilder.

Die transferierten Bilder in den lokalen Maxima M_k bilden die Basis der Korrektur. Zur Korrektur der Zwischenbilder wird deren Helligkeitsverteilung per Interpolation an die Helligkeitsverteilungen der benach barten lokalen Maxima angepaßt. Diese Interpolation kann in einfacher Form linear, aber auch in jeder anderen technisch sinnvollen Weise (Parabel, Splines usw.) erfolgen.

Alternativ kann das Verfahren statt auf den lokalen Maxima auch auf den lokalen Minima basiert werden. Die folgende Darstellung ist für die Verwendung lokaler Maxima als Referenzwerte ausgeführt. Sie gilt sinngemäß in gleicher Weise für lokale Minima.

Der Ablauf der Flimmerkorrektur ist folgender (aus Gründen besseren Darstellbarkeit wird vorerst ein kontinuierlicher Verlauf der Summenhäufigkeitsfunktion angenommen):

1. Für den Film (Rohmaterial) wird die Flimmerfrequenz F_F ermittelt. Darauf aufbauend werden die lokalen Helligkeitsmaxima bestimmt. Dabei ist eine begleitende Plausibilitätsbetrachtung auf der Basis der sich höchstens langsam ändernden Flimmerfrequenz vorzusehen: der zeitliche Abstand der zur Korrektur verwendeten lokalen Maxima muß ungefähr der Periodendauer des Flimmerns entsprechen.
2. Für jedes lokale Maximum M_i wird die Summenhäufigkeitsverteilung H_Mi der Helligkeit (ggf. der 3 Farbkomponenten) ermittelt.
3. Für ein Bild Z₀ zwischen den lokalen Maxima M_j und M_j+1 wird die Summenhäufigkeitsverteilung der Helligkeit (ggf. der 3 Farbkomponenten) ermittelt.
4. Die Differenz zwischen der Summenhäufigkeitsverteilung der Helligkeit (ggf. der 3 Farbkomponenten) des Zwischenbilds Z₀ und seiner benachbarten lokalen Maxima M_j und M_j+1 wird ermittelt. Anschließend wird Z₀ korrigiert.

Beispiel für die Korrektur mit linearer Interpolation (Ausgangsdaten s. Bild 3) auf dem Niveau s_k des Summenhäufigkeitsdiagramms:
H_Mj(I) sei die Summenhäufigkeitsfunktion des lokalen Maximumbildes M_j. Die Bezeichnung der Summenhäu figkeitsfunktionen anderer Bilder erfolgt sinngemäß in der gleichen Weise. H_Mj(I) = s besagt, daß s der Anteil aller Punkte von M_j ist, deren Intensität geringer als der Wert I ist. Die Umkehrfunktion von H_Mj(I) sei N_Mj(s).

Bild 3: Summenhäufigkeitsdiagramme für zwei benachbarte lokale Maxima und ein von diesen lokalen Maxima eingeschlossenes Zwischenbild (frei angenommene Werte, Grundlage für das im Text dargestellte Berechnungsbeispiel)

Aus Bild 3 kann man folgende Werte entnehmen

Intensität auf Niveau s_k

Der Abstand zwischen M_j und M_j+1 betrage m = 7 Bilder, der Abstand zwischen M_j und Z₀ betrage n = 5 Bilder.

Im Zwischenbild des Beispiels werden Punkte der Intensität 20% wie folgt korrigiert:

N_Zk(sk) = ((m - n) . N_Mj(s_k) + n . N_Mj+1(s_k))/m (1)

Ursprünglich im Bild Z₀ vorhandene Intensitätswerte von 20% (bzw. 0,2) werden also durch den neu ermittelten Wert N_Zk(sk) ersetzt (im speziellen Fall 0,193).

Um aus dem ursprünglichen Zwischenbild Z₀ das korrigierte Zwischenbild Z_k zu ermitteln ist in dieser Weise die Korrektur für sämtliche Intensitätswerte in allen Farbkomponenten durchzuführen.

1. Die Schritte 2 bis 4. werden für jedes Zwischenbild durchgeführt.
2. Am Szenenanfang und am Szenenende erfolgt die Flimmerkompensation im einfachsten Fall nur bezüg lich eines lokalen Maximums. Dieses liegt am Szenenanfang zeitlich nach dem zu korrigierenden Bild, am Szenenende liegt es davor. Die Berechnung erfolgt dann wie folgt:
N_Zk(sk) = N_Mj(s_k) (2)
Des weiteren gelten die Aussagen unter 4. sinngemäß.

Alternativ kann die Korrektur am Szenenanfang bezüglich der beiden ersten Maxima der Szene erfolgen (am Szenenende bezüglich der beiden letzten). Die Berechnung erfolgt sinngemäß wie unter 4. Es ist lediglich für n ein negativer Wert einzusetzen.

Bei den meisten technischen Realisierungen dieses Verfahrens wird die Summenhäufigkeit als diskrete Funk tion gegeben sein (diskrete Anzahl Bildpunkte, diskrete Anzahl Intensitätsstufen).

Diese diskrete Funktion wird durch lineare Interpolation in eine kontinuierliche Funktion übergeführt und zwar sowohl für die Referenz- als auch für die Zwischenbilder Korrekturwerte N_Zk(s_i) sind dann nicht mehr für beliebig viele Häufigkeitsniveaus sondern nur noch für jede Intensitätsstufe des Zwischenbildes zu ermitteln. Die Berechnung erfolgt gemäß (1). Das auf diese Weise erhaltene Ergebnis wird auf den nächstliegenden, aufgrund der Diskretisierung zulässigen Wert gerundet.

Zur Vermeidung der Addition von Rundungsfehlern kann statt der punktorientierten eine integrierende Berechnung erfolgen. An die Stelle von (1) tritt dann (3).

N_Zk(s_k) = ((m - n) . N*_Mj(s_k) + n . N*_Mj+1(s_k))/m (3)

Das darin auftretende N*_Mj(s_k) kann beispielsweise nach (4) ermittelt werden.

N*_Mj+1(s_k) wird sinngemäß wie N*_Mj(s_k) ermittelt.

3. Kompensation des Hotspots

Der Hotspot äußert sich in einem Helligkeitsabfall an den Rändern, insbesondere in den Ecken. Das nachfol gend beschriebene Verfahren gleicht ihn durch Anwendung einer ortsabhängigen Korrekturfunktion D(x, y) aus. Entsprechend der Rotationssymmetrie der beteiligten optischen Systeme wird für D(x, y) angenommen, daß diese Funktion nur vom Abstand r zum Symmetriezentrum des Hotspots abhängt. Normalerweise liegt dieses Zentrum in der Bildmitte. Abweichungen deuten auf fehlerhafte Justage hin und werden weiter unten behandelt.

Das Verfahren zur Hotspot-Kompensation basiert auf einem Ansatz für die Korrekturfunktion D. Dabei sind verschiedene Modelle für die Abhängigkeit von r möglich, z. B. ein Potenzverhalten oder ein Verhalten nach einer Cosinus-Potenz. Gute Resultate lassen sich bereits mit dem Ansatz D = a . r² = a . (x² + y²) gewinnen. Der Nullpunkt des x,y-Koordinatensystems wird dabei in der Bildmitte angenommen.

Die Korrekturfunktion läßt sich aus folgenden Arten von Bildmaterial berechnen:

1. Längerer Abschnitt eines vorliegenden Films. In diesem Fall wird automatisch eine eventuelle ungleich mäßige Helligkeitsverteilung der Filmkamera mitkorrigiert.
2. Kurze Aufnahme des leeren Bildes (Projektion ohne eingelegten Film), im Extremfall nur ein Einzelbild.

Die Hotspot-Kompensation läuft in beiden Fällen folgendermaßen ab:

1. Zunächst wird aus dem Video ein Bild B_V als Zeitmittelwert der Einzelbilder des Videos berechnet. Bei Verwendung von realem Filmmaterial kann man davon ausgehen, daß die in gleicher Weise zu einem Bild B_O gemittelte Original-Szenenfolge keine horizontale Struktur gezeigt hat - sofern die Mittelung nur über einen genügend langen Zeitabschnitt erfolgt. B_O wird aber im allgemeinen noch eine vertikale Struktur besitzen (bedingt z. B. durch hellen Himmel bei Außenaufnahmen oder helle Wände bei Innenaufnahmen). Die Helligkeitsverteilung des gemittelten Originalbildes I_O(x, y) ist also von x unabhängig:
I_O(x, y) = I_O(y) (5)
Liegt eine Leeraufnahme mit nur einem Einzelbild vor, tritt dieses Einzelbild an die Stelle des gemittelten Bildes und I_O ist auch unabhängig von y.
2. Das gemittelte Videobild B_V besitzt als Folge des Hotspot-Effekts in jeder Zeile einen Helligkeitsabfall zu den Rändern hin (Bild 4) und eine ungleichmäßige Heiligkeitsverteilung I_V(x, y). Mit einem Ausgleichsver fahren kann aus I_V die Korrekturfunktion D(r) berechnet werden, welche den Helligkeitsverlauf aller Zeilen von B_V am besten approximiert. Bei Verwendung der Gaußschen Methode der kleinsten Quadrate erhält man z. B. folgendes Extremwertproblem für die unbekannten Zeilenhelligkeiten I_O(y) und die Funktion D(r):
Da Punkte in Randnähe am empfindlichsten auf den Hotspot-Effekt reagieren, können sie bei der Aus gleichsrechnung wahlweise auch höher gewichtet werden. Liegt eine Leeraufnahme vor, ist I_O eine von y unabhängige Konstante.
3. Die im vorangehenden Schritt bestimmte Korrekturfunktion D wird auf jedes Video-Einzelbild additiv angewendet. Ist die Gesamtkennline des Videosystems (Kamera und Aufzeichnungssystem) bekannt, kann die Korrektur noch berücksichtigen, daß in der Regel dunklere Pixel eine kleinere Korrektur erfordern als helle.
4. Bisher wurde davon ausgegangen, daß das Maximum des Hotspots exakt in der Bildschirmmitte liegt. Ein Versatz des Hotspots durch Justagefehler während des Videotransfers führt zu einer horizontalen Asymme trie des gemittelten Videobildes B_V. Er kann gegebenenfalls wie oben durch Ausgleich mit einer geeigneten Funktion wie z. B. D(r) = a . ((x - x₀)² + (y - y₀)²) bestimmt und korrigiert werden.

Bild 4: Einzelne Zeile bei Hotspot-Korrektur.

Claims

1. Videotransferverfahren mit optischer Projektion und Videoaufnahme eines Films mit Reduzierung des Bildflimmerns durch gezielte Helligkeitsveränderung der Bildpunkte, dadurch gekennzeichnet, dass

a) für den Film die Flimmerfrequenz (F_F) und die lokalen Intensitätsmaxima (M_j) jeder vorhandenen Farbkomponente bestimmt werden; und
b) für jedes lokale Maximum (M_j) die Summenhäufigkeitsverteilung (H_Mj) der Helligkeit jeder vorhandenen Farbkomponente bestimmt wird; und
c) für jedes Bild (Z₀) zwischen den lokalen Maxima M_j und M_j+i die Ist-Summenhäufigkeitsverteilung (H_M0) jeder vorhandenen Farbkomponente bestimmt wird; und
d) durch Interpolation zwischen den inversen Summenhäufigkeitsverteilungen in den lokalen Maxima M_j bis M_j+i die inverse Summenhäufigkeitsverteilung (N_Zk) jeder vorhandenen Farbkomponente des korrigierten Bildes ermittelt wird; und
e) für jeden Punkt eines Bildes (Z₀) die Intensität sämtlicher vorhandenenr Farbkom ponenten so korrigiert wird, dass die inverse Summenhäufigkeitsverteilung des Bildes dem unter e) ermittelten Verlauf entspricht.

2. Verfahren nach 1., bei dem eine Aufhellung bzw. Abdunkelung durch Verwendung lokaler Helligkeitsminima als Bezugsgrößen erfolgt.

3. Verfahren nach 1., bei dem eine Aufhellung bzw. Abdunkelung durch lineare Interpolation zwischen den Summenhelligkeitskurven benachbarter Helligkeitsmaxima bzw. -minima erfolgt.

4. Verfahren nach 1., bei dem statt der linearen Interpolation eine nichtlineare Interpolation eingesetzt wird.

5. Videotransferverfahren zur Elimination des Hot-Spots, dadurch gekennzeichnet, dass die Pixelhelligkeiten mittels einer rotationssymmetrischen Korrekturfunktion verändert werden und diese Korrekturfunktion aus einem horizontalstrukturfreien Hilfsbild durch ein Ausgleichsverfahren gewonnen wird.

6. Verfahren wie unter 5., gekennzeichnet dadurch, dass das horizontalstrukturfreie Hilfsbild durch zeitliche Mittelung des Rohfilmmaterials gewonnen wird.

7. Verfahren nach 5. oder 6., gekennzeichnet dadurch, dass Asymmetrien des gemittelten Videobildes erkannt und in der Ausgleichsrechnung zur Korrektur eines Mittenversatzes zwischen Projektions- und Aufnahmeachse berücksichtigt werden.

8. Verfahren nach 5., 6. oder 7., gekennzeichnet dadurch, dass als Ausgleichsfunktion ein Rotationsparaboloid verwendet wird.

9. Verfahren nach 5., 6. oder 7., bei denen die Randpunkte bei der Ausgleichsrechnung höher gewichtet werden.

10. Verfahren wie 8., jedoch gekennzeichnet dadurch, dass als Ausgleichsfunktion eine beliebige räumliche, zur Bildachse punktsymmetrische Funktion eingesetzt wird.

11. Verfahren nach 1. bis 10., einzeln oder in ihrer Gesamtheit auf einem Digitalrechner implementiert.

12. Verfahren nach 1. bis 10., einzeln oder in ihrer Gesamtheit auf einem Personal Computer (PC) unter Verwendung einer Video-Digitalisierungskarte implementiert.

13. Verfahren nach 1. bis 10., einzeln oder in ihrer Gesamtheit in einer speziellen analogen, digitalen oder hybriden elektronischen Schaltung implementiert.