DE69529548T2

DE69529548T2 - Bilderzeugungsverfahren und -gerät

Info

Publication number: DE69529548T2
Application number: DE69529548T
Authority: DE
Inventors: Akihiro Katayama; Takahiro Oshino; Hideyuki Tamura; Koichiro Tanaka; Hiroyuki Yamamoto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-04-22
Filing date: 1995-04-21
Publication date: 2003-11-27
Anticipated expiration: 2015-04-22
Also published as: EP0684585A2; DE69529548D1; EP0684585B1; US6628820B2; US6263100B1; US20010043739A1; EP0684585A3

Description

Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren und -gerät zum Erzeugen eines Bildes aus dem Sehpunkt eines Betrachters auf der Grundlage von aus einer Vielzahl von Sehpunkten gewonnenen Bildern.
Als ein herkömmliches Gerät zur stereoskopischen Anzeige von Bildern, die aus einer Vielzahl von Sehpunkten gesehen sind, sind eine stereoskopische Anzeige, eine linsenförmige Anzeige und dergleichen bekannt. Die stereoskopische Anzeige stellt Bilder dar, die aus zwei Kameras gewonnen sind, und diese werden abwechselnd mit hoher Geschwindigkeit umgeschaltet. Ein Betrachter kann stereoskopisch das dargestellte Bild unter Verwendung von Verschlußbrillengläsern sehen, die mit der Umschaltoperation von Bildern oder mit Polarisationsbrillengläsern synchronisiert sind. Bei der linsenförmigen Anzeige werden Bilder aus beispielsweise vier Kameras in Einheiten von Pixeln neu angeordnet, und durch Zusammenfügen eines linsenförmigen Blattes auf der Oberfläche kann ein Bild aus vier Sehpunkten stereoskopisch ausgedrückt werden.
Mit der zuvor beschriebenen herkömmlichen stereoskopischen Anzeige kann nur ein stereoskopisches Bild in Photographierrichtung der Kameras nach Photographieren eines Bildes betrachtet werden. Genauer gesagt, da die beiden Kameras in ihrer Position zum Photographieren eines Gegenstands feststehend sind, sieht ein Betrachter nur ein identisches Bild, selbst wenn sich der Betrachter bewegt und seinen Sehpunkt (die Positionen der Augen) ändert, und die Sehpunktbewegung der Betrachterseite wird nicht in einem angezeigten Bild wiedergegeben, was zu einem unnatürlichen Bildeindruck führt.
Andererseits kann die linsenförmige Anzeige mit der Bewegung des Sehpunkts vom Betrachter in Rechts- und in Linksrichtung zu Rande kommen, kann aber nicht mit der stetigen Sehpunktbewegung zu Rande kommen, da sie nur sequentielles Betrachten diskreter Bilder der Kameras ermöglicht. Darüber hinaus kann in der linsenförmigen Anzeige der Sehpunkt nicht in Rückwärts- und Vorwärtsrichtung bewegt werden, das heißt, in einer Richtung längs der Sehlinie. Eine Sehpunktbewegung in Rückwärts- und Vorwärtsrichtung läßt sich nur realisieren, wenn ein stereoskopisches Bild auf der Grundlage von Bildern erreicht wird, die von Computergraphiken erzeugt werden. Derartige durch Computergraphiken erzeugte Bilder sind jedoch spezielle Bilder, da sie einfach sind und die Koordinatenwerte in einer Beziehung dreidimensionalen Raumes stehen; von allen den Punkten sind Bilder bekannt. Aus diesem Grund ist die Möglichkeit einer Sehpunktbewegung in Rückwärts- und Vorwärtsrichtung nicht untersucht worden, sofern Bilder von Kameras photographiert sind, die stereoskopisch zu betrachten sind.
Die vorliegende Erfindung ist angesichts des obengenannten Standes der Technik entstanden.
Die vorliegende Erfindung sieht ein Bildverarbeitungsverfahren vor, wie es im Patentanspruch 1 angegeben ist.
Die vorliegende Erfindung sieht auch ein Bildverarbeitungsgerät vor, wie es im Patentanspruch 15 angegeben ist.
Die vorliegende Erfindung sieht auch ein Computerprogrammprodukt vor, wie es im Patentanspruch 29 angegeben ist.
Optionale Merkmale sind in den Patentansprüchen 2 bis 14 und 16 bis 28 angegeben.
Merkmale und Vorteile von Ausführungsbeispielen werden aus der nachstehenden Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlich, in der gleiche Bezugszeichen dieselben oder ähnliche Teile in allen Figuren bedeuten.

KURZE BESCHREIBUNG DER ZEICHNUNG

Fig. 1 ist ein Diagramm eines Bildverarbeitungsgerätes nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 ist ein Ablaufdiagramm, das die Verarbeitung zum Erzeugen und Darstellen eines interpolierten Bildes veranschaulicht;
Fig. 3 ist ein Ablaufdiagramm, das eine zugehörige Punktsuchverarbeitung darstellt;
Fig. 4 ist eine Ansicht zur Erläuterung eines EPI;
Fig. 5 ist ein Ablaufdiagramm, das eine Verarbeitung einer geraden Linie auf dem EPI zeigt;
Fig. 6 ist eine Ansicht, die ein Beispiel festgestellter zugehöriger Punkte zeigt;
Fig. 7 ist ein Ablaufdiagramm, das eine Bildinterpolationsverarbeitung darstellt;
Fig. 8 ist eine Ansicht, die ein Beispiel zeigt, das der Interpolationsverarbeitung auf der Grundlage festgestellter zugehöriger Punkte unterzogen ist;
Fig. 9 ist ein Ablaufdiagramm, das eine Nachverarbeitung darstellt;
Fig. 10 ist ein Ablaufdiagramm, das eine Verarbeitung zum Abschätzen unbekannter Pixelwerte darstellt, nach der Interpolationsverarbeitung;
Fig. 11A bis 11E sind Ansichten zur Erläuterung einer Abschätzung unbekannter Pixelwerte;
Fig. 12 ist eine Ansicht zur Erläuterung eines Verfahrens zum Rekonstruieren eines interpolierten Bildes;
Fig. 13 ist ein Ablaufdiagramm, das die zugehörige Punktsuchverarbeitung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung darstellt;
Fig. 14 ist eine Ansicht zur Erläuterung des Abschätzens unbekannter Pixelwerte;
Fig. 15 ist ein Blockdiagramm, das ein Bildanzeigegerät nach dem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
Fig. 16 ist ein Ablaufdiagramm, das die Bildinterpolationsverarbeitung vom zweiten Ausführungsbeispiel darstellt;
Fig. 17A und 17B sind Ansichten, die das Rechenprinzip eines zugehörigen Punktsuchbereichs auf der Grundlage photographischer Parameter in Schritt S162 in Fig. 16 zeigen;
Fig. 18 ist ein Ablaufdiagramm, das eine zugehörige Punktsuchverarbeitung in Schritt S163 in Fig. 16 darstellt;
Fig. 19 ist eine Ansicht, die ein j-tes epipolares ebenes Bild zeigt;
Fig. 20 ist ein Ablaufdiagramm, das eine Geradelinien- Feststellverarbeitung in Schritt S264 in Fig. 16 darstellt;
Fig. 21 ist ein Ablaufdiagramm, das eine zugehörige Punktfeststellverarbeitung darstellt;
Fig. 22 ist eine Ansicht zur Erläuterung der Interpolationsverarbeitung;
Fig. 23 ist ein Ablaufdiagramm, das die Interpolationsverarbeitung darstellt;
Fig. 24 ist eine Ansicht zur Erläuterung der Interpolationsverarbeitung;
Fig. 25 ist eine Ansicht zur Erläuterung der Interpolationsverarbeitung;
Fig. 26 ist ein Blockdiagramm, das ein Bildanzeigegerät gemäß dem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt;
Fig. 27 ist eine Ansicht, die das Rechenprinzip einer Sichtlinien-Parameterrecheneinheit 2610 vom dritten Ausführungsbeispiel zeigt;
Fig. 28 ist ein Ablaufdiagramm, das die Verarbeitung der Sehlinien-Parameterrecheneinheit 2610 darstellt;
Fig. 29 ist eine Ansicht, die das Rechenprinzip einer virtuellen Sehpunkt-Parameterrecheneinheit 2611 und einer Pixelpositionsrecheneinheit 2612 zeigt;
Fig. 30 ist eine Ansicht, die das Rechenprinzip einer Sehlinien-Parameterrecheneinheit 2610 nach dem fünften Ausführungsbeispiel der vorliegenden Erfindung zeigt;
Fig. 31 ist ein Blockdiagramm, das die Anordnung eines Bildverarbeitungsgerätes nach einem Beispiel des Standes der Technik zeigt (welches kein Ausführungsbeispiel der vorliegenden Erfindung ist);
Fig. 32 ist eine Ansicht, die das Rechenprinzip einer Sehlinien-Parameterrecheneinheit 2610 im Bildverarbeitungsgerät nach dem Beispiel des Standes der Technik zeigt;
Fig. 33 ist ein Ablaufdiagramm, das die Verarbeitung einer Sehlinien-Parameterrecheneinheit 2610 im Bildverarbeitungsgerät des Beispiels nach dem Stand der Technik darstellt;
Fig. 34 ist eine Ansicht, die das Rechenprinzip einer virtuellen Sehpunkt-Parameterrecheneinheit 2611, und einer Pixelpositionsrecheneinheit 2612 im Bildverarbeitungsgerät des Beispiels nach dem Stand der Technik zeigt;
Fig. 35 ist eine Ansicht, die das Prinzip einer Verzerrungskorrektureinheit 3102 im Bildverarbeitungsgerät des Beispiels nach dem Stand der Technik zeigt;
Fig. 36 ist ein Blockdiagramm, das ein Bildverarbeitungsgerät nach einem fünften Ausführungsbeispiel der vorliegenden Erfindung zeigt;
Fig. 37 ist ein Ablaufdiagramm, das die Verarbeitung einer Sehpunktinterpolations-Verarbeitungseinheit im Bildverarbeitungsgerät des fünften Ausführungsbeispiels darstellt;
Fig. 38 ist ein Ablaufdiagramm, das die zugehörige Punktsuchverarbeitung durch das Bildverarbeitungsgerät des fünften Ausführungsbeispiels darstellt;
Fig. 39 ist ein Ablaufdiagramm, das die zugehörige Punktsuchverarbeitung des Bildverarbeitungsgerätes vom fünften Ausführungsbeispiel darstellt;
Fig. 40 ist eine Ansicht zur Erläuterung eines Interpolationsverarbeitungsalgorithmus durch die zugehörige Punktsuchverarbeitung vom Bildverarbeitungsgerät des fünften Ausführungsbeispiels;
Fig. 41 ist eine Ansicht zur Erläuterung des Interpolationsverarbeitungsalgorithmus durch die zugehörige Punktsuchverarbeitung von einem Bildverarbeitungsgerät des fünften Ausführungsbeispiels;
Fig. 42 ist eine Ansicht zur Erläuterung des Interpolationsverarbeitungsalgorithmus durch die zugehörige Punktsuchverarbeitung vom Bildverarbeitungsgerät des fünften Ausführungsbeispiels;
Fig. 43 ist ein Ablaufdiagramm, das die Interpolationsverarbeitung durch das Bildverarbeitungsgerät des fünften Ausführungsbeispiels darstellt;
Fig. 44 ist eine Ansicht zur Erläuterung des Prinzips zum Errechnen der Entfernung zu einem Gegenstand durch ein Bildverarbeitungsgerät nach einem sechsten Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 45 ist ein Ablaufdiagramm, das die Bildrekonstruktionsverarbeitung vom fünften Ausführungsbeispiel darstellt.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE

[Erstes Ausführungsbeispiel]

Das erste Ausführungsbeispiel der vorliegenden Erfindung ist nachstehend anhand der beiliegenden Zeichnung beschrieben.

< Anordnung des Gerätes>

Fig. 1 stellt ein Bildverarbeitungsgerät dar, das vier Kameras in einer Eingabeeinheit verwendet. Unter Bezug auf Fig. 1 enthält eine Bildeingabeeinheit 1 vier Kameras und gibt photographierte Bilder des Gerätes über ein Eingabeport 2 als digitale Bildsignale ein. Eine CPU 3 ist ein Prozessor zum Steuern des gesamten Bildverarbeitungsgerätes und führt vorbestimmte Steuersequenzen aus, durch Ausführen von in einem ROM 5 oder in einem RAM 4 gespeicherten Programmen. Der RAM 4 und der ROM 5 speichern auch Daten zusätzlich zu den Programmen. Der RAM 4 speichert des weiteren digitale Bilddaten aus der Bildeingabeeinheit 1. Eine Festplatte 7 tauscht Daten mit der CPU 3, dem RAM 4 und dergleichen über einen Platten-I/O-Port 6 aus. Bilddaten sind auch in der Platte 7 gespeichert. Photographierte Bilddaten oder verarbeitete Bilddaten werden in einem VRAM 8 erschlossen und auf einer stereoskopischen Anzeige 10 über eine Videosignalausgabe-I/F 9 dargestellt. Ein Positionssensor 12 stellt die Position des Sehpunkts vom Betrachter fest und gibt festgestellte Informationen über eine Positionssensorverbindung-I/F 9 in die CPU 3 ein. In diesem Ausführungsbeispiel werden vier Kameras verwendet. Jedoch ist die Erfindung nicht auf die vier Kameras beschränkt.

< Erzeugen eines interpolierten Bildes>

Fig. 2 ist ein Ablaufdiagramm, das den Steuerablauf der Verarbeitung zum Erzeugen eines interpolierten Bildes durch die CPU 3 von diesem Ausführungsbeispiel darstellt.
Aus der Bildeingabeeinheit 1, wie Kameras, eingegebene Originalbilder werden im RAM 3 als digitale Bilddaten gespeichert.
In Schritt S1 werden geometrische Korrekturverarbeitung von beispielsweise der chromatischen Aberration und Verzerrung von Linsen, der Abweichung der optischen Achse, den Posituren und Positionen der Kameras und dergleichen ausgeführt, und eine Korrekturverarbeitung beliebiger empfindlicher Ungleichförmigkeiten von CCD-Sensoren. Diese Korrekturverarbeitungsoperationen lassen sich mit hoher Geschwindigkeit durch den Betrieb einer Nachschlagetabelle ausführen, wenn Korrekturdaten im voraus im ROM 5 oder im RAM 4 als Kalibrierdaten aufgezeichnet sind. Wenn andererseits Korrekturdaten jedesmal vor Eingabe von Bildern gewonnen werden, kann die Korrektur genauer erreicht werden.
Nach Abschluß dieser Korrekturverarbeitungsoperationen schreitet der Ablauf zu Schritt S2, um das zugehörige Punktsuchen (Bewegungsvektorfeststellung) als Verarbeitung unter Bildern auszuführen.
Nach Abschluß der zugehörigen Punktsuchverarbeitung schreitet der Ablauf fort zu Schritt S3, um die Interpolationsverarbeitung von Bildern auszuführen.
Der Ablauf schreitet dann fort zu Schritt S4, um Pixelwerte abzuschätzen, die bei der Interpolationsverarbeitung nicht gewonnen werden konnten.
Nachdem alle Pixelwerte bestimmt sind, schreitet der Ablauf fort zu Schritt S5. In Schritt S5 wird ein aus der Sehpunktposition gesehenes Bild ausgewählt aus den eingegebenen Bildern oder den interpolierten Bildern auf der Grundlage von Informationen aus dem Sehpunktpositionssensor, und das ausgewählte Bild wird auf der stereoskopischen Anzeige dargestellt. Ein Betrachter sieht das Bild mit Brillengläsern und dergleichen, die zum System der stereoskopischen Anzeige passen. <

Zugehörige Punktsuchverarbeitung>

Fig. 3 ist ein Ablaufdiagramm der zugehörigen Punktsuchverarbeitung in Schritt S2. In Schritt S11 wird das erste Raster eines jeden Bildes anfänglich eingestellt, um das Gegenstandsraster zu bilden. Angemerkt sei, daß das Gegenstandsraster dargestellt ist durch ein Raster j des Gegenstands (wobei j die Ordinalzahl des Gegenstandsrasters ist)
In Schritt S12 werden die Gegenstandsraster j der jeweiligen Bilder ausgelesen auf einen Arbeitsspeicher, um virtuell ein j-tes epipolares ebenes Bild (EPI) zu bilden. Das j-te epipolare ebene Bild ist ein Satz von Punkten Epj(x, i) auf einer Bildebene, wie in Fig. 4 gezeigt, die der Beziehung genügen:
Epj(x, i) = Ni(x, j)
wobei Ni(x, j) einen x-ten Pixelwert auf einer j-ten Zeile eines i-ten Bildes (i = 1 bis 4 in diesem Ausführungsbeispiel) ist, das heißt, der Wert eines Pixels, dessen Koordinaten ausgedrückt werden durch (x, j) im i-ten Bild.
Genauer gesagt, ein durch benachbarte identische Linien aufgebautes Bild, ausgelesen aus Bildern mehrerer Sehpunkte der Reihe nach, wird ein epipolares ebenes Bild genannt.
Wenn Eingabeeinrichtungen (Kameras) parallel zueinander zu gleichen Intervallen angeordnet werden, reihen sich alle zugehörigen Punkte auf dem epipolaren Ebenenbild an gerade Linien. Zugehörige Punkte können folglich festgestellt werden durch Nachweisen gerader Linien, und Bilder können interpoliert werden auf den festgestellten geraden Linien.
In Schritt S13 sind gerade Linien präsent, auf denen zugehörige Punkte ausgelesen werden, und die zugehörigen Punkte werden errechnet aus den ausgelesenen geraden Linien. Die errechneten Punkte werden gespeichert. Der ausführliche Geradelinienfeststellalgorithmus ist nachstehend unter Bezug auf das in Fig. 5 dargestellte Ablaufdiagramm beschrieben. <

Geradeliniennachweisverarbeitung>

In Schritt S21 wird ein Prioritätsniveau n = 1 eingestellt, und ein Raster r = 1 wird als Gegenstandsraster eingestellt. Der Ablauf schreitet nun fort zu Schritt S22. In Schritt S22 wird das Gegenstandspixel dargestellt mit Epj(x,r) und alle "m", die der nachstehenden Formel innerhalb eines Bereichs von m = k1 bis k1 + k2 genügen und x = 1 bis nx werden errechnet:
Ej(x, r) = {EPj(x + m · (i - r),i) - EPj(x, r)}² < TH2 ... (1)
Formel (1) bedeutet das Errechnen von Pixeln, die sich auf einer geraden Linie befinden, wobei das Gegenstandspixel als ein Endpunkt vorhanden ist mit einer Neigung m, und wobei das Quadrat eines Fehlers aus dem Gegenstandspixel kleiner als TH2 ist. Da in diesem Falle m reale Zahlenwerte annehmen kann, werden zugehörige x-Koordinaten bestimmt durch Rundungswerte x + m · (i-r). TH2 ist ein Schwellwert zum Auffinden der zugehörigen Punkte und wird in diesem Ausführungsbeispiel auf 1200 gesetzt. Der Wert "1200" hat folgende Bedeutung. Da N = 4 aufgrund des 4-Linien-EPI, wird die Differenz in Formeln (1) dreimal errechnet, und unter der Annahme, daß jeder Differenzwert im wesentlichen derselben Farbe entspricht, wenn er gleich oder kleiner als etwa 20 ist, wird 3 · 20² = 1200 eingesetzt. Wenn das eingegebene System ein ideales ist und keine speziellen Komponenten in Bildern vorhanden sind (zugehörige Punkte jeweiliger Bilder haben dieselben Pixelwerte), kann TH2 = 0 eingesetzt werden. In einem praktischen Eingabesystem leiden jedoch zugehörige Punkte jeweiliger Bilder unter Variationen in Pixelwerten. Der Differenzwert wird auf 20 eingestellt, um folglich Spielraum zu bieten. Aus diesem Grund wird als in dem Maß, wie die Genauigkeit des Eingabesystems steigt, der Differenzwert kleiner werden. Wenn im Gegensatz dazu das Eingabesystem eine geringere Genauigkeit besitzt, muß ein größerer Differenzwert eingesetzt werden.
Die zuvor beschriebene Technik wird ausgeführt für jeden Pixelwert der Farben R, G und B. Darüber hinaus kann die zuvor genannte Technik angewandt werden, wenn Bilder umgesetzt werden in verschiedene andere kolorimetrische Systeme, wie YIQ, HSI und dergleichen, und folglich können geeignete Schwellwerte eingesetzt und verwendet werden. k1 ist ein vom Eingabesystem bestimmter Wert. Wenn Bilder mit Kameras photographiert werden, die parallel zueinander angeordnet sind zu gleichen Intervallen, ist k1 = 0. k2 ist ein Wert, der vom Kameraintervall bestimmt ist und der Abstand zu einem Gegenstand, und k2 = 20 wird eingestellt (das heißt, unter der Annahme, daß eine Bewegung erfolgt, die 20 Pixel überschreitet). nx ist die Anzahl von Pixeln in Hauptabtastrichtung eines Bildes, und n ist die Anzahl von Kameras.
Wenn Epj(x + m · (i - r), i) nicht gegeben ist, wird bestimmt, daß kein zugehöriger Punkt für dieses m vorhanden ist, und die Verarbeitung wird fortgesetzt. Wenn Epj(x + m · (i-r), i) bereits in Schritt S22 verarbeitet wurde, wird Epj(x + m · (i-r), i) - Epj(x, r) = 0 gesetzt, und die Verarbeitung wird fortgesetzt.
Der Ablauf schreitet fort zu Schritt S23. In Schritt S23 wird ein zugehöriger Punkt des Prioritätsniveaus m aus der geraden Linie mit der Neigung m in Schritt S22 errechnet und gespeichert im Speicher. Wenn eine Vielzahl zugehöriger Punkte gewonnen wird, erfolgt das Speichern aller Punkte gemäß Punkten des Prioritätsniveaus n aus Gründen der Vereinfachung. Als zugehörige Punkte errechnete Pixel werden als verarbeitete Pixel eingesetzt. Wenn der zugehörige Punkt, errechnet auf der Grundlage der geraden Linie mit der Neigung m in Schritt S23 bereits verarbeitet worden ist, wird dieser Punkt aus den zugehörigen Punkten ausgeschlossen. Die Anzahl nicht verarbeiteter Pixel wird des weiteren in w gesetzt.
Der Ablauf schreitet dann fort zu Schritt S24 um zu überprüfen, ob die Anzahl w nicht verarbeiteter Pixel gleich 0 ist. Wenn w = 0 ist, endet die Verarbeitung, und der Ablauf kehrt zurück zu Schritt S14. Wenn w ≠ 0 ist, schreitet der Ablauf fort zu Schritt S25, um zu überprüfen, ob das Gegenstandsraster r das letztliche Raster ist. Wenn das Gegenstandsraster das letztliche Raster ist, wird r = 1 (erstes Raster) in Schritt S26 eingesetzt; anderenfalls wird der Wert des Gegenstandsrasters um 1 in Schritt S27 inkrementiert. R in Fig. 5 stellt die Anzahlvon Bildungsrastern dar (in diesem Ausführungsbeispiel ist R = 4).
Der Ablauf schreitet dann fort zu Schritt S28, um zu überprüfen, ob n das Prioritätsniveau gleich P hat. Angemerkt sei, daß P die Komplexität eines Phänomens darstellt, bei dem Gegenstände einander verdecken (Okklusion). Genauer gesagt, wenn P groß ist, stellt es einen Zustand dar, bei dem eine große Anzahl von Gegenständen einander überlappen; wenn P klein ist, ist der Überlappungszustand von Gegenständen gering. Der Wert P wird eingestellt abhängig vom Grad der Verdeckung zur Wiedergabe. In diesem Ausführungsbeispiel ist P = (R - 1) · 10, das heißt, P = 30 wird als empirischer Wert eingesetzt.
Wenn n ≠ P in Schritt S28 ist, schreitet der Ablauf fort zu Schritt S29. In Schritt S29 wird überprüft, ob die Anzahl nicht verarbeiteter Pixel kleiner als diejenige in der vorherigen Verarbeitung ist. Wenn die Anzahl nicht verarbeiteter Pixel kleiner als bei der vorherigen Verarbeitung ist, schreitet der Ablauf fort zu Schritt S30; anderenfalls endet die Geradelinienfeststellverarbeitung vom j-ten EPI, und der Ablauf kehrt zurück zu Schritt S14. Wenn n = P ist, kehrt der Ablauf zurück zu Schritt S14.
Wenn die Verarbeitung ausgeführt wird mit dem zuvor genannten Algorithmus, können zugehörige Punkte, die sich nicht aus zwei Bildern erzielen lassen, gewonnen werden, und eine Verdeckung kann auch verarbeitet werden, womit die Genauigkeit der zugehörigen Punktsuchverarbeitung verbessert ist.
In Schritt S14 wird überprüft, ob die Verarbeitung für alle Raster der eingegebenen Bilder ausgeführt wird. Wenn NEIN in Schritt S14, wird der Wert j in Schritt S15 um eins inkrementiert, und der Ablauf kehrt zurück zu Schritt S12; anderenfalls schreitet der Ablauf fort zu Schritt S3. Angemerkt sei, daß ny die Gesamtzahl von Rastern der eingegebenen Bilder ist.
In Schritt S3 wird die Bildinterpolationsverarbeitung durchgeführt. Die Bildinterpolationsverarbeitung erfolgt unter Verwendung der in Schritt S2 errechneten zugehörigen Punkte.

< Bildinterpolationsverarbeitung>

Fig. 6 zeigt ein Beispiel des j-ten epipolaren ebenen Bildes. a1 und b1 stellen die zugehörigen Punkte des Prioritätsniveaus 1 dar, und c2 repräsentiert zugehörige Punkte mit dem Prioritätsniveau 2. Ein Fall wird nachstehend überprüft, bei dem n Bilder zu gleichen Intervallen zwischen angegebenen Bildern interpoliert werden. Aus Gründen der Vereinfachung wird die Anzahl interpolierter Bilder mit 2 angenommen. Wenn eine derartige Interpolation bezüglich des j-ten epipolaren ebenen Bildes erfolgt, wie in Fig. 8 gezeigt, werden zwei Raster zwischen zwei benachbarten Linien des epipolaren ebenen Bildes interpoliert, und die Pixelwerte der interpolierten Raster, die auf den geraden Linien vorhanden sind und die zugehörigen Punkte auf dem Original epipolaren ebenen Bild verbinden, können als Durchschnittswert der zugehörigen Punkte eingesetzt werden. Diese Verarbeitung ist nachstehend anhand des in Fig. 7 dargestellten Ablaufdiagramms beschrieben.
In Schritt S51 wird die Initialisierung für die Bildinterpolationsverarbeitung ausgeführt. Das heißt j = 1 wird eingesetzt, das heißt, das j-te EPI wird als Gegenstands-EPI eingesetzt. Das Prioritätsniveau n wird eingesetzt auf n = P. Angemerkt sei, daß P dasselbe P (P = 30 beispielsweise) ist, das in Schritt S28 von Fig. 5 verwendet wird.
Der Ablauf schreitet fort zu Schritt S52. In Schritt S52 wird eine gerade Linie, die die zugehörigen Punkte des Prioritätsniveaus n auf dem j-ten EPI verbindet, angenommen, und die Pixelwerte interpolierter Raster, die auf der geraden Linie liegen, werden als Durchschnittswert der Pixelwerte auf den Originalbildern eingesetzt, die sich auf der geraden Linie befinden. Wenn es eine Vielzahl zugehöriger Punkte gibt, die dasselbe Prioritätsniveau haben, wird die Verarbeitung ausgeführt in der Reihenfolge von der geraden Linie, die die zugehörigen Punkte verbindet und eine geringere Neigung hat (eine gerade Linie senkrecht zu einem Raster wird als eine mit der Neigung "0" angenommen).
Nach Abschluß dieser Verarbeitung schreitet der Ablauf fort zu Schritt S53, um zu überprüfen, ob die Verarbeitung in Schritt S52 für alle zugehörigen Punkte mit dem Prioritätsniveau n bezüglich des Gegenstands EPI ausgeführt ist. Wenn NEIN in Schritt S53, kehrt der Ablauf zurück zu Schritt S52; anderenfalls schreitet der Ablauf fort zu Schritt S54, um zu überprüfen, ob das Prioritätsniveau, das gerade verarbeitet wird, aktuell gleich 1 ist. Wenn das Prioritätsniveau nicht gleich 1 ist, wird das Prioritätsniveau inkrementiert um 1 (n = n - 1) in Schritt S55, und der Ablauf kehrt zurück zu Schritt S52; anderenfalls wird in Schritt S56 überprüft, ob das Gegenstands-EPI das letzte EPI ist. Angemerkt sei, daß ny dasselbe ny ist, wie in Schritt S14 in Fig. 3 verwendet, und die Gesamtzahl von Rastern der eingegebenen Bilder darstellt.
Wenn das Gegenstandsraster nicht das letzte EPI ist, wird das nächste EPI als Gegenstands-EPI eingesetzt (j = j + 1), und der Ablauf kehrt zurück zu Schritt S55. Wenn das Gegenstandsraster das letzte EPI ist, endet die Bildinterpolationsverarbeitung, und der Ablauf kehrt zurück zu Schritt S4.
Wie schon zuvor beschrieben, wird die Verarbeitung ausgeführt in der Reihe von zugehörigen Punkten mit geringem Prioritätsniveau (mit großen Werten von n), und zugehörige Punkte mit höheren Prioritätsniveaus werden überschrieben von jenen mit geringeren Prioritätsniveaus, womit eine Interpolationsverarbeitung erzielt wird, die das Verdecken mit berücksichtigt, wie in Fig. 8 gezeigt. Angemerkt sei, daß a, b und c Pixel darstellen, die auf der Grundlage zugehöriger Punkte a1, b1 beziehungsweise c2 interpoliert worden sind.
Nach Abschluß der Interpolationsverarbeitung schreitet der Ablauf fort zu Schritt S4, und die Nachverarbeitung wird ausgeführt für die Bilder, die der Interpolationsverarbeitung in Schritt S3 unterzogen wurden. Pixel, für die keine zugehörigen Punkte gewonnen werden können, selbst nach der Verarbeitung in Schritt S3, werden übriggelassen, ohne interpoliert zu werden. Die Werte von Pixeln, die ohne Interpolation übriggelassen wurden, werden in der Nachverarbeitung geschätzt. Der Ablauf dieser Verarbeitung ist nachstehend anhand des in Fig. 9 dargestellten Ablaufdiagramms beschrieben.

< Schätzen von nichtinterpolierten Pixeln>

In Schritt S71 wird j = 1 eingestellt für das j-te EPI als Gegenstands-EPI. Der Ablauf schreitet fort zu Schritt S72, um die Werte von Pixeln abzuschätzen, deren Werte nicht auf dem j-ten EPI zur Interpolation bestimmt sind, bei der Raster interpoliert werden. Das Schätzungsverfahren ist nachstehend erläutert anhand des in Fig. 10 dargestellten Ablaufdiagramms, während die Fig. 11A bis 11E als Beispiel dienen.
Unter Bezug auf die Fig. 11A bis 11E wird eines der Pixel, deren Werte nicht bestimmt sind auf dem j-ten EPI zur Interpolation, bei der Raster interpoliert werden, eingesetzt, um das Gegenstandspixel * zu bilden (Schritt S81). Es werden 5 · 5 Pixel mit dem Gegenstandspixel * als Mitte angenommen, und eine Summe von Differenzen zwischen dem Gegenstandspixel und den Pixeln, die sich an den gestrichelten Stellen befinden, wird errechnet für jedes in den Fig. 11A bis 11E gezeigtes Pixel. Die Summen der Differenzen in den Fig. 11A bis 11E werden verglichen, und ein Durchschnittswert der gestrichelten Pixel gemäß der Minimalsumme wird eingesetzt als geschätzter Wert (Schritt S82).
Dies geschieht, weil der Weg der zugehörigen Punkte auf dem EPI eine gerade Linie wird mit einer Neigung, die in einen gewissen Bereich fällt. Genauer gesagt, wenn das EPI gebildet ist durch Juxtapositionieren eingegebener Bilder in der Reihenfolge von einem, das mit der linksseitigen Kamera gewonnen wurde, erstreckt sich die gerade Linie schräg nach oben von der linken zur rechten Seite, und die Neigung wird geringer (geht näher an einen Horizontalzustand), wenn die Entfernung zwischen der Kamera und dem Gegenstand kleiner wird. Durch Überprüfen des Musters der geraden Linie, die sich schräg nach oben erstreckt von links nach rechts, während sich die Neigung ändert, kann aus diesem Grund ein unbekanntes Pixel mit höherer Genauigkeit geschätzt werden als das von der einfachen Rechnung geschätzte und durch Durchschnittsbildung gewonnene umgebende Pixel. Wenn Bilder in der Reihenfolge von dem einen von der rechten Kamera gewonnenen benachbart werden, wird die Schätzung ausgeführt unter Verwendung von Spiegelbildern der in den Fig. 11A bis 11E gezeigten Muster.
Wenn der Wert des gestrichelten Pixels unbekannt ist, wird aus der Differenzerrechnung ausgeschlossen. Wenn die Anzahl gestrichelter Pixel geringer als 2 ist, wird der bekannte Pixelwert, der demjenigen des Gegenstandspixel am nächsten ist, als der Wert des Gegenstandspixels eingesetzt. Nachdem der Wert des Gegenstandspixels geschätzt ist, schreitet der Ablauf fort zu Schritt S73, um zu überprüfen, ob alle Pixelwerte auf dem j-ten EPI zur Interpolation geschätzt sind, in dem Raster interpoliert werden.
Wenn JA in Schritt S73, schreitet der Ablauf fort zu Schritt S74; anderenfalls kehrt der Ablauf zurück zu Schritt S72. In Schritt S74 wird überprüft, ob die Verarbeitung für alle EPI ausgeführt worden ist. Wenn NEIN in Schritt S74, wird das nächste EPI als Gegenstands-EPI eingesetzt (der Wert j wird um Eins inkrementiert), und der Ablauf kehrt zurück zu Schritt S72; anderenfalls endet die Nachverarbeitung, und der Ablauf schreitet fort zu Schritt S5.
Wenn die interpolierten Zeilen bei der obigen Verarbeitung dargestellt werden durch j2, j3, j5, j6, j8 und j9, wie beispielsweise in Fig. 8 gezeigt, kann das interpolierte Bild 2 gebildet werden durch Juxtapositionieren interpolierter Linien j2 (j = 1 bis ny) (siehe Fig. 12). Dasselbe gilt für die interpolierten Bilder 3, 5, 6, 8 und 9.
Nachdem die interpolierten Bilder erzeugt sind, wie zuvor beschrieben, wird ein Bild gemäß der Sehpunktposition aus den interpolierten Bildern und der eingegebenen Bilder auf der Grundlage der Ausgabe aus dem Sehpunktsensor 12 ausgewählt, und das ausgewählte Bild wird in Schritt S5 dargestellt. Wenn in diesem Falle zwei Bilder an den Photographierpositionen, getrennt durch das Intervall zwischen den Augen eines Betrachters, stereoskopisch angezeigt werden, kann der Betrachter ein stereoskopisches Bild sehen.
Angemerkt sei, daß sich die Sehpunktposition bestimmen läßt auf der Grundlage des Kameraintervalls.
Da mit der obigen Verarbeitung interpolierte Bilder erzeugt werden können durch Bezugnahme auf die Kontinuität zwischen benachbarten Pixeln als Linien, lassen sich hochqualitative Bilder frei von Störungen an den Kanten und dergleichen leicht erzeugen, und ein Bild aus einem Sehpunkt, von dem keine Bilder in der Praxis photographiert sind, kann dargestellt werden.
Angemerkt sei, daß die Bildeingabeeinheit nicht beschränkt ist auf die eine zur Eingabe photographierter Bilder in Echtzeit, sondern es können Bilder sein, die im voraus photographiert wurden, oder es können eingegebene Bilder aus einer Datenbank sein, die beispielsweise durch einen Computer erstellte Bilder speichert. Wenn eine Änderung im Gegenstand über eine gewisse Zeit ignoriert wird, kann ein derartiger Gegenstand durch Bewegen einer Einzelkamera photographiert werden.

< Verarbeitung schlechter Bilder>

Das Suchen zugehöriger Punkte unter Bildern, die aus verschiedenen Sehpunkten photographiert wurden, wird oft gestört, da sich die Farbe selbst bei einem Einzelpunkt abhängig von eingegebenen Bildern ändert, zu denen der Punkt gehört, aufgrund einer Bildverschlechterung (aufgrund der Durchschnittsbildung einer Dichtekante und Farbkantenabschnitten in einem Bild) von Bildern, verursacht durch die Arbeitsweise von Photographiereinrichtungen (optische Systeme, Analogsysteme in den Einrichtungen und dergleichen). In einem solchen Falle kann ein zugehöriger Punkt nicht gefunden werden. In einem solchen Falle kann durch Erhöhen des Schwellwertes TH2 für die Unterscheidung der Linearität in Schritt S22 in einem gewissen Ausmaß ein Fehler absorbiert werden. Genauer gesagt, ein kleiner Wert TH2 wird anfangs eingestellt, und wenn keine weiteren zugehörigen Punkte gefunden werden, wird der Wert TH2 erhöht. Ein zugehöriger Punkt, der aus dem zuvor genannten Grund nicht gefunden werden kann, kann somit gewonnen werden. Das Gerät dieses Ausführungsbeispiels verwendet die in Fig. 1 gezeigte Anordnung und sucht nach mehr zugehörigen Punkten durch Schwellwertänderung in der zugehörigen Punktsuchverarbeitung.
Fig. 13 ist ein Ablaufdiagramm, das die zugehörige Punktsuchverarbeitung darstellt, bei der einige Schritte in Fig. 3 geändert sind. Die Schritte S91, S92, S93, S95 und S96 führen dieselben Verarbeitungsoperationen wie die Schritte S11, S12, S13, S14 beziehungsweise S15 aus.
Obwohl der Schritt S94 grundsätzlich derselbe ist wie der Schritt S13, wird der Fehler eines jeden Pixelwertes auf 50 gesetzt, so daß der Schwellwert TH2 zum Herausfinden der Linearität gesetzt wird auf 3 · 50² = 7500, wodurch zugehörige Punkte errechnet werden. Durch Einfügen dieses Verarbeitungsschrittes können die zuvor genannten Variationen eingegebener Bilder absorbiert werden. Die Verarbeitung mit Ausnahme der zugehörigen Punktsuchverarbeitung ist die zuvor beschriebene.
In Schritt S94 kann eine gerade Linie, die durch Punkte gebildet ist, die größer sind als Fehler in Schritt S93, festgestellt werden. Wenn aus diesem Grund Bilder schlecht sind, können zugehörige Punkte festgestellt werden.

< Schütz vor Fehlerakkumulation>

Im obigen Ausführungsbeispiel sind 5 · 5-Pixel-Blöcke festgelegt mit dem Gegenstandspixel * in beispielsweise Fig. 14 in der Mitte. Wenn jedoch ein Pixel, das durch Interpolation gewonnen ist, verwendet wird zum Schätzen eines unbekannten Pixelwertes, kann ein Fehler im geschätzten Pixel enthalten sein und größer werden. In diesem Falle wird ein Raster, verwendet zum Schätzen eines unbekannten Pixelwertes, ausgewählt aus lediglich Originalbildern. Genauer gesagt, um den Pixelwert des Gegenstandspixel * zu schätzen, wird Juxtapositionieren von Rastern 1, 4, 5, 7 und 10 eine Ebene gebildet in der Reihenfolge, um ein Raster zu gewinnen (das fünfte Raster in Fig. 14), bei dem das Gegenstandspixel * in der Mitte vorhanden ist. In diesem Zustand wird dieselbe Verarbeitung wie bei der Schätzverarbeitung, zuvor beschrieben anhand Fig. 10 bis Fig. 11E, ausgeführt, womit Schätzfehler daran gehindert werden, sich zu akkumulieren.

[Zweites Ausführungsbeispiel]

Das zweite Ausführungsbeispiel nach der vorliegenden Erfindung ist nachstehend anhand der beiliegenden Zeichnung beschrieben.

< Geräteanordnung>

Fig. 15 veranschaulicht ein Bildverarbeitungsgerät, das in einer Bildeingabeeinheit vier Kameras verwendet. Unter Bezug auf Fig. 15 enthält eine Bildeingabeeinheit 33 vier Kameras 20 bis 23 und gibt photographierte Bilder an das Gerät ab über einen Eingabeport 24 in der Form digitaler Bildsignale. Eine CPU 25 ist ein Prozessor, der das gesamte Bildverarbeitungsgerät steuert und vorbestimmte Steuersequenzen ausführt durch in einem ROM 27 oder in einem RAM 26 gespeicherte Programme. Der RAM 26 und der ROM 27 speichern auch Daten zusätzlich zu den Programmen. Des weiteren speichert der RAM 26 digitale Bilddaten, die aus der Bildeingabeeinheit 33 stammen. Eine Festplatte 29 tauscht Daten aus mit der CPU 25, dem RAM 26 und dergleichen über einen Platten-I/O-Port 28. Bilddaten werden auch in der Platte 29 gespeichert. Photographierte Bilddaten oder verarbeitete Bilddaten werden auf einem VRAM 30 ausgebildet und dargestellt auf einer stereoskopischen Anzeige 32 über eine Videosignalausgabe-I/F 31. In diesem Ausführungsbeispiel sind vier Kameras in Verwendung. Jedoch ist die vorliegende Erfindung nicht auf vier Kameras beschränkt.

< Erzeugen eines interpolierten Bildes>

Fig. 16 ist ein Ablaufdiagramm, das den Fluß der interpolierten Bilderzeugungsverarbeitung durch das Bildverarbeitungsgerät dieses Ausführungsbeispiels darstellt.
In Schritt S161 werden von den Kameras 20 bis 23 eingegebene Originalbilder der geometrischen Korrekturverarbeitung unterzogen, das heißt bezüglich der chromatischen Aberration und der Verzerrung der Linsen, der Abweichung in der optischen Achse, den Posituren und Positionen der Kameras und dergleichen, und der Korrekturverarbeitung von Empfindlichkeitsungleichförmigkeit der CCD-Sensoren und dergleichen. Diese Korrekturverarbeitungsoperationen lassen sich mit hoher Geschwindigkeit durch eine Nachschlagetabellenoperation ausführen, wenn Korrekturdaten im voraus im ROM oder im RAM als Kalibrationsdaten aufgezeichnet wurden. Wenn andererseits Korrekturdaten jedesmal vor Eingabe der Bilder gewonnen werden, können Korrekturen genauer erzielt werden. Nach Abschluß dieser Korrekturverarbeitungsoperationen schreitet der Ablauf fort zu Schritt S162, und ein Bereich zur zugehörigen Punktsuchoperation wird auf der Grundlage von photographischen Parametern bestimmt. Der Ablauf schreitet dann fort zu Schritt S163, und die zugehörige Punktsuchverarbeitung unter Bildern wird unter Verwendung des in Schritt S162 bestimmten Ergebnisses ausgeführt. Nach Abschluß der zugehörigen Punktsuchverarbeitung schreitet der Ablauf fort zu Schritt S164, und die Bildinterpolationsverarbeitung wird ausgeführt. Danach werden in Schritt S165 korrigierte Eingangsbilder und interpolierte auf einer linsenförmigen Anzeige dargestellt.
Die Verarbeitungsoperationen in den obigen Schritten sind nachstehend in Einzelheiten erläutert.

< Errechnen vom zugehörigen Punktsuchbereich>

Die Errechnungsverarbeitung des zugehörigen Punktsuchbereichs ist nachstehend anhand der Fig. 17A und 17B beschrieben.
Die Fig. 17A und 17B sind Ansichten, die das Rechenprinzip des zugehörigen Punktsuchbereichs zeigen. In den Fig. 17A und 17B ist S103 die allerhinterste Oberfläche eines zu photographierenden Raumes, S103 ist die allervorderste Oberfläche des zu photographierenden Raumes, und der Raum zwischen diesen Oberflächen ist ein photographischer Raum Ω. Le ist der Abstand zur allerhintersten Oberfläche des zu photographierenden Raumes, und lf ist der Abstand zur allervordersten Oberfläche des zu photographierenden Raumes. Der Winkel α ist ein festgelegter Winkel durch eine Senkrechte von einer photographischen Position p1 zu einer Bildebene FP und durch eine gerade Linie, die zwischen den von der photographischen Position p1 um eine Entfernung d beabstandeten Photographierpositionen p2 liegt; und ein photographischer Gegenstand a befindet sich auf der allervordersten Oberfläche S102 des photographischen Raumes Ω. Der Winkel β ist gleichermaßen ein festgelegter Winkel durch eine gerade Linie, die eine Verbindung herstellt zwischen dem photographischen Gegenstand b, der sich an der allerhintersten Oberfläche S101 des photographischen Raumes Ω befindet, und dem Punkt p2 und einer Senkrechten von der Sehpunktposition (photographischen Position) p1 zur Abbildungsebene FP. Die Brennweite f ist der Abstand zwischen der photographischen Position und der Abbildungsebene FP. Bilder a' und b' sind Bilder von den Gegenständen a und b auf der Abbildungsebene FP, die photographiert werden vom Punkt p2. Gemäß Fig. 17A wird die Entfernung zwischen den Bildern a' und b' in der Abbildungsebene als der zugehörige Punktsuchbereich errechnet.
Der Bewegungsabstand d1 auf der Abbildungsebene vom allervordersten Gegenstand a im photographischen Raum Ω, welcher Gegenstand photographiert wird aus den Photographierpositionen p1 und p2, wird errechnet. Der Bewegungsabstand d1 wird errechnet gemäß der Formel den Fig. 17A und 17B. Angemerkt sei, daß die Anzahl von Pixeln in Hauptabtastrichtung (die Querrichtung von Fig. 17A) und der Abbildungsebene dargestellt wird durch nx. Positionen c1 und c2 sind sich kreuzende Punkte von Senkrechten aus den Positionen p1 und p2 zur Abbildungsebene FP beziehungsweise der Abbildungsebene FP. Eine Position c3 eines Kreuzungspunktes einer Senkrechten von der Position p2 zur allerhintersten Oberfläche S103 und der allerhintersten Oberfläche S103. Die Positionen c1 und c2 sind Mitten der Abbildungsebene FP in Hauptabtastrichtung. Wenn der Gegenstand a und b photographiert wird aus der Position p1, erfolgt eine Projektion der Bilder auf der Position c1 der Abbildungsebene FP. Wenn andererseits die Gegenstände a und b von der Position p2 aus photographiert werden, erfolgt die Projektion der Bilder vom Gegenstand a auf die Position a' und das Bild vom Gegenstand b wird auf die Position b' der Abbildungsebene projiziert.
Auf der Abbildungsebene FP bewegt sich das Bild des Gegenstands a um a'-c2 entlang im Falle, daß sich der Sehpunkt auf die Position p2 verschiebt, ausgehend von der Position p1. Das Dreieck p2-a-c3 ist dem Dreieck p2-a'-c2 gleich, und dann wird der Verschiebungsabstand a'-c2 ausgedrückt durch die folgende Formel:
a'-c2 = (d·f)/cf
a'-c2 = d1·P
wobei p ein Pixelabstand in der Abbildungsebene bedeutet. Auf der Grundlage obiger Formeln wird der Verschiebungsabstand d1 ausgedrückt durch Formeln (2):
d1 = (d·f)/(Lf·p) ... (2)
Der Verschiebungsabstand des Bildes auf der Bildebene FP des allerhintersten Gegenstands b wird gleichermaßen ausgedrückt durch Formel (3), wenn sich der Sehpunkt zur Position p2 aus der Position p1 verschoben hat:
d2 = (d·f)/(Le·P) ... (3)
Genauer gesagt, ein aus der Position p1 gesehenes Bild und ein aus der Position p2 gesehenes Bild kann eine Abweichung untereinander haben, minimal von d2 und maximal von d1.
Aus diesen Abständen kann der Bereich der Neigung einer geraden Linie zum Suchen für zugehörige Punkte zwischen Bildern an den Sehpunkt p1 und p2 auf einem epipolaren ebenen Bild geändert werden zwischen d1 und d2.
Der Suchabstand s läßt sich gewinnen unter Verwendung der nachstehenden Gleichung auf der Grundlage der Anzahl N von Kameras:
S = 1/N
Wenn der zu photographierende Raum beschränkt ist auf die allervorderste und allerhinterste Oberfläche, kann der Bereich zum Suchen der zugehörigen Punkte daran gehindert werden, unbeabsichtigt aufgeweitet zu werden, und eine Hochgeschwindigkeitssuchverarbeitung läßt sich realisieren. Da der Suchabstand darüber hinaus errechnet wird auf der Grundlage der Anzahl von Kameras, kann die Suchverarbeitungszeit daran gehindert werden, sich zu verlängern durch ungewolltes Einstellen eines kleinen Suchabstandes.

< Zugehörige Punktsuchverarbeitung>

Die zugehörige Punktsuchverarbeitung unter Verwendung der errechneten zugehörigen Punktsuchparameter ist nachstehend anhand Fig. 18 beschrieben. Fig. 18 stellt ein Ablaufdiagramm dar, das die zugehörige Punktsuchverarbeitung in Schritt S162 in Fig. 16 zeigt.
In Schritt S181 wird das erste Raster eines jeden Bildes ursprünglich eingestellt auf das Gegenstandsraster.
In Schritt S182 werden die Gegenstandsraster der jeweiligen Bilder auf einen Arbeitsspeicher ausgelesen, um virtuell ein j-tes epipolares ebenes Bild (EPI) aufzubauen. Angemerkt sei, daß das j-te EPI ein Satz von Punkten Epj(x, i) auf einer Bildebene ist, wie in Fig. 19 gezeigt, die der Beziehung genügen:
Epj(x, i) = ni(x, j)
wobei Ni(x, j) einen x-ten Pixelwert auf einer j-ten Linie eines i-ten Bildes (i = 1 bis 4 in diesem Ausführungsbeispiel) darstellt, das heißt, der Wert eines Pixels, dessen Koordinaten ausgedrückt sind durch (x, j) im i-ten Bild.
Wenn Eingabeeinrichtungen (Kameras) parallel zueinander zu gleichen Intervallen aufgestellt werden, reihen sich alle zugehörigen Punkte auf dem epipolaren ebenen Bild an auf einer gerade Linie. Zugehörige Punkte können folglich festgestellt werden durch Nachweis der geraden Linien, und Bilder können interpoliert werden auf den nachgewiesenen geraden Linien. Gerade Linien werden somit in Schritt S183 nachgewiesen, und zugehörige Punkte werden errechnet und gespeichert basierend auf den in Schritt S184 nachgewiesenen geraden Linien.
Der detaillierte Nachweisalgorithmus für gerade Linien auf dem EPI ist nachstehend anhand des in Fig. 20 dargestellten Ablaufdiagramms beschrieben.
In Schritt S201 werden Prioritätsniveaus n = 1 und eine Linie r = 1 des Gegenstandspixels eingesetzt. Der Ablauf schreitet fort zu Schritt S202. In Schritt S202 wird das Gegenstandspixel dargestellt durch Epj(x, r), und alle m, die der nachstehenden Formel innerhalb eines Bereichs von m = k1 bis k1 + k2 und x = 1 bis nx genügen, werden errechnet mit:
Ej(x, r) = {EPj(x + m · (i - r), i) - EPj(x, r)}² < TH2
Die Gesamtzahl festgestellter gerader Linien wird gespeichert als L. Da in diesem Falle m reale Zahlenwerte annehmen kann, werden zugehörige x-Koordinaten bestimmt durch gerundete Werte x + m · (i-r). TH2 ist ein Schwellwert zum Herausfinden der zugehörigen Punkte und wird eingestellt auf 1200 in diesem Ausführungsbeispiel. Der Wert "1200" hat die folgende Bedeutung. Da N = 4 und r = 1 aufgrund des 4-Linien EPI, wird die Differenz in Formel (1) dreimal errechnet, unter der Annahme, daß jeder Differenzwert im wesentlichen derselben Farbe entspricht, wenn er gleich oder kleiner ist als 20, wird 3 · 20² = 1200 eingesetzt. Wenn das Eingabesystem ein ideales ist, und keine speziellen Komponenten in Bildern präsent sind (zugehörige Punkte jeweiliger Bilder haben dieselben Pixelwerte), kann TH2 = 0 eingesetzt werden. In einem praktischen Eingabesystem leiden jedoch zugehörige Punkte der jeweiligen Bilder unter Variationen ihrer Pixelwerte. Der Differenzwert wird folglich eingestellt auf 20, um einen gewissen Spielraum bereitzustellen. Da die Genauigkeit des Eingabesystem aus diesem Grund größer wird, wird der Differenzwert klein. Wenn im Gegensatz dazu das Eingabesystem eine geringere Genauigkeit besitzt, muß ein größerer Differenzwert eingesetzt werden.
Die zuvor beschriebene Technik wird für jeden Farbpixelwert R, G und B ausgeführt. Darüber hinaus kann die zuvor beschriebene Technik angewandt werden, wenn Bilder umgesetzt werden in verschiedene andere kolorimetrische Systeme, wie YIQ, HSI und dergleichen, und passende Schwellwerte hierfür können eingestellt und verwendet werden. Andererseits werden k1 beziehungsweise k2 als Parameter d1 beziehungsweise d2 verwendet, errechnet in Schritt S162 in Fig. 16 (das heißt, k1 = d2, k2 = d1). Wenn Epj(x + m · (i - r), i) präsent ist, wird bestimmt, daß kein zugehöriger Punkt für dieses m vorhanden ist, und die Verarbeitung wird fortgesetzt. Wenn Epj(x + m · (i - r), i) bereits in Schritt S202 verarbeitet worden ist, wird Epj(x + m · (i - r), i) - Epj(x, r) = 0 gesetzt, und die Verarbeitung geht weiter.
Der Ablauf schreitet fort zu Schritt S203. In Schritt S203 wird ein zugehöriger Punkt des Prioritätsniveaus n aus der geraden Linie mit der Neigung m, errechnet in Schritt S202, neu errechnet und gespeichert im Speicher als (n, f(L) gemeinsam mit dem Wert einer Bewertung f(L). Angemerkt sei, daß L die Anzahl nachgewiesener gerader Linien ist, und f() ist eine Funktion, die einen kleinen Wert aufzeigt, wenn die Anzahl gerader Linien groß ist, und zeigt einen großen Wert auf, wenn die Anzahl gerader Linien klein ist.
Wenn eine Vielzahl zugehöriger Punkte gewonnen wird in Übereinstimmung mit dem Gegenstandspixel, werden alle errechneten Punkte als zugehörige Punkte vom Prioritätsniveau n der Einfachheit halber gespeichert. Als die zugehörigen Punkte errechnete Pixel werden als zu verarbeitende Pixel eingesetzt. Wenn der zugehörige Punkt, errechnet auf der Grundlage der geraden Linie mit der Neigung m bereits verarbeitet worden ist, und wenn der Wert einer Bewertung f(L') von (n, f(L')), gespeichert in Übereinstimmung mit dem bereits verarbeiteten zugehörigen Punkt größer ist als die Bewertung, die dem Gegenstandspixel zugehörig ist, wird dieser Punkt aus den zugehörigen Punkten ausgeschlossen. Genauer gesagt, die Bewertung stellt die Anzahl zugehöriger Punkte in Verbindung mit einem vorgegebenen Punkt dar. Die Bewertung dient auch als Maß, daß die Möglichkeit der Entsprechung zugehörig zum Gegenstandspunkt aufzeigt. Wenn zwei Punkte veranlaßt sind, einander zu entsprechen, wird die Möglichkeit der Entsprechung herausgefunden unter Verwendung dieses Maßes. Wenn ein gewisses Pixel bestimmt ist als Entsprechung zu einem anderen Pixel, wenn das Pixel bereits eine mögliche Entsprechung besitzt, wird eine andere Entsprechung daran gehindert, eingesetzt zu werden. Eine ungenaue Entsprechung kann somit ausgeschlossen werden, und eine mögliche Entsprechung läßt sich einstellen. In Schritt S203 wird des weiteren die Anzahl nicht verarbeiteter Pixel in w eingesetzt.
Fig. 21 ist ein Ablaufdiagramm, das die Verarbeitung in Schritt S203 genauer darstellt.
Die Bewertung f(L) wird errechnet auf der Grundlage der in Schritt S202 nachgewiesenen geraden Linie (S211). Ein zugehöriger Punkt wird gewonnen auf der Grundlage der geraden Linien (S212). Wird kein entsprechender Punkt gefunden, erfolgt das Einstellen der Anzahl nicht verarbeiteter Pixel in w, und die Verarbeitung in Schritt S203 endet (S219). Wird ein zugehöriger Punkt gefunden, erfolgt die Überprüfung, ob der Punkt nicht bereits verarbeitet worden ist (S214). Ist der zugehörige Punkt noch nicht verarbeitet, wird er als zugehöriger Punkt gespeichert (S218). Wenn der entsprechende Punkt bereits verarbeitet worden ist, wird die Bewertung f(L') des zugehörigen Punktes verglichen mit der Bewertung f(L) vom Gegenstandspunkt (S215). Ist f(L') > f(L), das heißt, die Entsprechung ist bereits für den zugehörigen Punkt mit großer Wahrscheinlichkeit eingestellt, wird eine andere Entsprechung für den zugehörigen Punkt nicht eingesetzt, und der Punkt wird aus den entsprechenden Punkten ausgeschlossen (S217). Wenn jedoch f(L') < f(L) ist, wird der Punkt als zugehöriger Punkt registriert (S218), da die Entsprechung zwischen dem zugehörigen Punkt und dem Gegenstandspunkt wahrscheinlicher für die bereits eingestellte Entsprechung ist. Auf diese Weise endet die Verarbeitung in Schritt S203).
Der Ablauf schreitet dann fort zu Schritt S204, um zu überprüfen, ob die Anzahl w nicht verarbeiteter Pixel gleich 0 ist. Wenn w = 0 ist, endet die Verarbeitung bezüglich des j-ten epipolaren ebenen Bildes; anderenfalls schreitet der Ablauf fort zu Schritt S205, um zu überprüfen, ob die Gegenstandslinie r die letzte Linie ist. Wenn JA in Schritt S205, wird r = 1 (Startlinie) eingesetzt, und zwar in Schritt S207; anderenfalls wird der Wert der Gegenstandslinie r um eins in Schritt S206 inkrementiert. Angemerkt sei, daß N in Fig. 20 die Anzahl von Linien darstellt, die das EPI bilden (in diesem Ausführungsbeispiel ist N = 4).
Der Ablauf schreitet dann fort zu Schritt S208, um zu überprüfen, ob n das Prioritätsniveau darstellt, das gleich P ist. Angemerkt sei, daß P die Komplexität eines Phänomens repräsentiert, bei dem Gegenstände einander verdecken (Okklusion). Genauer gesagt, wenn P groß ist, stellt es einen Zustand dar, bei dem eine große Anzahl von Gegenständen einander überlappen; wenn P klein ist, ist der Überlappungszustand der Gegenstände gering. Der Wert P wird abhängig vom Grad der Ausschließung zur Wiedergabe eingesetzt. In diesem Ausführungsbeispiel ist P = (n - 1) · 10 = 30, was als empirischer Wert eingesetzt wird. Wenn n ≠ P in Schritt S208 ist, schreitet der Ablauf fort zu Schritt S210. In Schritt S210 wird das Prioritätsniveau n um eins inkrementiert, und W wird in den Wert w eingesetzt. Danach kehrt der Ablauf zurück zu Schritt S202. Wenn andererseits n = P ist, schreitet der Ablauf fort zu Schritt S209, um zu überprüfen, ob die Anzahl nicht verarbeiteter Pixel kleiner ist als die vorangehende Verarbeitung. Wenn die Anzahl nicht verarbeiteter Pixel kleiner ist als in der vorherigen Verarbeitung, schreitet der Ablauf fort zu Schritt S210; anderenfalls endet die Feststellverarbeitung für gerade Linien bezüglich des j-ten EPI, das heißt, der Schritt S184 in Fig. 18 ist zu Ende.
Um die Verarbeitung für das nächste EPI zu starten, kehrt der Ablauf danach zu Schritt S186 zurück. In Schritt S186 wird überprüft, ob die Verarbeitung für alle Raster der eingegebenen Bilder ausgeführt worden ist. Wenn NEIN in Schritt S186, wird der Wert j um eins inkrementiert, und der Ablauf kehrt zurück zu Schritt S182; wenn anderenfalls Schritt S163 in Fig. 16 endet, schreitet der Ablauf fort zu Schritt S164.
Mit der obigen Verarbeitung können zugehörige Punkte, die sich nicht aus zwei Bildern erreichen lassen, gewonnen werden, und mit einer Verdeckung kommt man auch zu Rande. Aus diesem Grund kann die Lagebeziehung zwischen Gegenständen in der Richtung der Sehlinie normalerweise verarbeitet werden, und die Genauigkeit der zugehörigen Punktsuchoperation ist verbessert. Andererseits wird die Anzahl gerader Linien, festgestellt auf der Grundlage eines gewissen Gegenstandspixels, ausgedrückt als Bewertung, die die Möglichkeit des Gegenstandspixels aufzeigt, ein zugehöriger Punkt zu sein, und mit größerer Wahrscheinlichkeit dem zugehörigen Punkt entspricht, der durch Vergleichen von Bewertungen gewonnen wird. Aus diesem Grund kann die zugehörige Punktsuchverarbeitung ohne Umkehr der Lagebeziehung zwischen einem Gegenstand in einer einheitlichen Farbe und einem kleinen Gegenstand ausgeführt werden, der sich vor dem ersten Gegenstand in der Richtung der Sehlinie befindet.

< Bildinterpolationsverarbeitung>

Der Ablauf schreitet fort zu Schritt S164, um die Bildinterpolationsverarbeitung auszuführen. Die Bildinterpolationsverarbeitung wird ausgeführt unter Verwendung der zugehörigen Punkte, die man in Schritt S163 gewonnen hat. Der genaue Algorithmus ist nachstehend erläutert, während Fig. 22 als Beispiel herangezogen ist.
Fig. 22 zeigt das j-te EPI. al stellt zugehörige Punkte mit einem Prioritätsniveau von 1 dar, und die Bewertung f(L) = 1, wobei b1 zugehörige Punkte mit dem Prioritätsniveau 1 und Bewertung 20 darstellt, und c2 zugehörige Punkte mit einem Prioritätsniveau 2 und einer Bewertung 20 darstellt. Nachstehend untersucht ist ein Fall, bei dem n Bilder zu gleichen Intervallen zwischen eingegebenen Bildern interpoliert werden. Zur Vereinfachung wird die Anzahl interpolierter Linien mit 2 angenommen. Wenn eine solche Interpolation auszuführen ist bezüglich des j-ten EPI, wie in Fig. 24 gezeigt, werden zwei Linien zwischen einander an benachbarten Linien vom EPI interpoliert, und die Pixelwerte der interpolierten Linien, die sich auf der geraden Linien verbinden und die zugehörigen Punkte auf der originalen epipolaren Ebene des Bildes verbinden, können eingestellt werden auf einen Durchschnittswert der zugehörigen Punkte. Die Verarbeitung ist nachstehend anhand des Ablaufdiagramms von Fig. 23 beschrieben. Fig. 23 ist ein Ablaufdiagramm, das in Einzelheiten die Verarbeitung in Schritt S164 von Fig. 16 darstellt.
In Schritt S231 wird die Initialisierung zur Bildinterpolationsverarbeitung ausgeführt. Das heißt, es wird j = 1 eingesetzt, das heißt, das j-te EPI wird als das Gegenstands-EPI eingesetzt. Das Prioritätsniveau n wird auf n = P eingesetzt. Angemerkt sei, daß P dasselbe P(P = 30) ist, das in Schritt S208 von Fig. 20 verwendet wurde.
Der Ablauf schreitet fort zu Schritt S232. In Schritt S232 wird eine gerade Linie, die die zugehörigen Punkte des Prioritätsniveaus n auf dem j-ten EPI verbindet, angenommen, und die Pixelwerte interpolierter Linien, die auf einer geraden Linie präsent sind, werden auf einen Durchschnittswert von Pixelwerten auf den Originalbildern gesetzt, die sich auf der geraden Linie befinden. Wenn in diesem Falle ein Wert bereits als zugehöriger Punkt auf der interpolierten Linie eingesetzt ist, wenn die Bewertung eines anderen zugehörigen Punktes höher ist als diejenige des bereits gespeicherten Punktes, kann der Pixelwert der interpolierten Linie überschrieben werden. Wenn andererseits die Bewertung niedriger ist, wird das Überschreiben gesperrt. Wenn die zugehörigen Punkte a1 und b1 in Fig. 24 als Beispiel herangezogen werden, erfolgt das Einsetzen der Pixelwerte von Punkten a und b auf geraden Linien, die die zugehörigen Punkte verbinden, auf einen Durchschnittswert der Pixelwerte, die durch a1 beziehungsweise b1 aufgezeigt sind. Ein Punkt bei den Koordinaten (11, 3) entspricht sowohl a1 als auch b1, wird aber mit einem Durchschnittswert b von Pixelwerten auf der geraden Linie als zugehöriger Punkt b1 mit höherer Bewertung eingesetzt.
Nach Abschluß dieser Verarbeitung schreitet der Ablauf fort zu Schritt S233, um zu überprüfen, ob die Verarbeitung in Schritt S232 für alle zugehörigen Punkte mit dem Prioritätsniveau n des Gegenstands-EPI abgeschlossen ist. Wenn NEIN in Schritt S233, kehrt der Ablauf zu Schritt S232 zurück; anderenfalls schreitet der Ablauf fort zu Schritt S234, um zu überprüfen, ob das Prioritätsniveau, das gerade in Arbeit ist, gleich 1 ist.
Wenn in Schritt S234 bestimmt ist, daß das Prioritätsniveau nicht gleich 1 ist, wird das Prioritätsniveau um eins dekrementiert (n = n - 1), und zwar in Schritt S235, und der Ablauf schreitet fort zu Schritt S232, anderenfalls wird in Schritt S236 überprüft, ob das Gegenstands-EPI das letzte EPI ist. Angemerkt sei, daß ny die Gesamtzahl an Rastern eingegebener Bilder ist. Wenn das Gegenstandsraster nicht das letzte EPI ist, wird das nächste EPI (j = + 1) als Gegenstands-EPI eingesetzt, und der Ablauf kehrt zurück zu Schritt S235. Anderenfalls endet die Bildinterpolationsverarbeitung, und der Ablauf kehrt zurück zu Schritt S165 in Fig. 16.
Wenn die in der oben beschriebenen Verarbeitung interpolierten Linien, die dargestellt sind mit j2, j3, j5, j6, j8 und j9 wie in Fig. 24 gezeigt, kann beispielsweise Bild 2 interpoliert werden, das aufgebaut durch juxtapositionierte interpolierte Linien j2 (j = 1 bis ny) (siehe Fig. 25). Dasselbe gilt auch für die interpolierten Bilder 3, 5, 6, 8 und 9.
Wie zuvor beschrieben, wird die Verarbeitung ausgeführt in der Reihenfolge beginnend mit zugehörigen Punkten geringer Prioritätsniveaus (deren Werte sind größer als n), und zugehörigen Punkten mit hohen Prioritätsniveaus oder mit höheren Bewertungen, wenn das Prioritätsniveau dasselbe bleibt, überschrieben auf jenen mit geringeren Prioritätsniveaus, womit eine Interpolationsverarbeitung erreicht wird, die Verdeckungen berücksichtigen kann, wie in Fig. 24 gezeigt. Angemerkt sei, daß a, b und c Pixel darstellen, die auf der Grundlage der zugehörigen Punkte a1, b1 beziehungsweise c2 interpoliert worden sind.
Wenn interpolierte Bilder erzeugt werden aus einer großen Anzahl eingegebener Bilder unter Verwendung der zuvor beschriebenen Anordnung und dem Verfahren, können zugehörige Punkte gewonnen werden, die aus zwei Bildern nicht erzielbar sind, womit die Interpolationsgenauigkeit verbessert wird. Nach Ausführen der zugehörigen Punktsuchverarbeitung kann eine Hochgeschwindigkeitssuchverarbeitung realisiert werden, da sich die Suchparameter automatisch bestimmen lassen unter Verwendung der photographischen Parameter. Da zugehörige Punkte gewonnen werden aus einer großen Anzahl von Bildern, kann das Problem der Verdeckung gelöst werden, und die Lagebeziehung zwischen photographierten Gegenständen in der Richtung der Sehlinie kann daran gehindert werden, sich umzukehren durch das Interpolationsverfahren unter Verwendung der Anzahl festgestellter gerader Linien.
In der obigen Beschreibung ist die Parallaxe in der Richtung nach oben und nach unten fortgelassen. Multisehpunktbilder, photographiert aus Photographierpositionen in einem Matrixmuster auf einer Ebene, die getrennt sind durch ein relativ großes Sehpunktintervall, werden jedoch gehalten, diese Multisehpunktbilder werden interpoliert zwischen Sehpunkten in der Rechts-Links-Richtung und werden dann interpoliert zwischen den Sehpunkten in Richtung nach oben und nach unten, womit Bilder erzeugt werden, die die Parallaxe in der Richtung nach oben und nach unten berücksichtigen.
Ein Verfahren zum Realisieren einer höheren Geschwindigkeit gemäß der Punktsuchverarbeitung im Bildverarbeitungsgerät dieses Ausführungsbeispiels ist nachstehend beschrieben.
In der zugehörigen Punktsuchverarbeitung dieses Ausführungsbeispiels kann die gerade Liniensuche realisiert werden nicht nur von der ersten Linie zur letzten Linie des epipolaren ebenen Bildes, sondern auch von der letzten Linie hin zur ersten Linie. In diesem Falle kann der Suchbereich, der Suchabstand und die Neigung der geraden Linie als die Suchparameter für den letzteren Suchprozeß gewonnen werden durch Versehen entgegengesetzter Vorzeichen gegenüber jenen des früheren Suchprozesses, um die Suche nach geraden Linien in zwei Richtungen zu erzielen. Wenn auf diese Weise zugehörige Punkte gesucht werden in der Richtung nach oben und nach unten für ein EPI, kann die zugehörige Punktsuchverarbeitung mit höherer Geschwindigkeit ausgeführt werden.

[Drittes Ausführungsbeispiel]

In einem nachstehend darzulegenden Bildverarbeitungsgerät kann die Sehpunktposition eines Betrachters festgestellt werden, selbst wenn sich ein Anwender in seinem Sehpunkt nach oben und nach unten, nach vorne und zurück, nach rechts und nach links bewegt durch Ändern der Kopfposition in Vorwärts- und Rückwärtsrichtung, und ein Bild, gesehen vom Betrachter, kann rekonstruiert werden, um so mit den stufenlosen Bewegungen nach oben und nach unten, nach hinten und nach vorne, nach rechts und nach links beim Sehpunkt des Betrachters zu Rande zu kommen. Zum Zwecke der Vereinfachung ist die Parallaxe der Richtung nach oben und nach unten in der folgenden Beschreibung fortgelassen.
Fig. 26 ist ein Blockdiagramm, das die Anordnung eines Bildanzeigegerätes nach dem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt. Unter Bezug auf Fig. 26 bedeutet Bezugszeichen 2601 einen Bildanzeigeschirm, der sich in einer feststehenden Position befindet, und Bilder darstellt; Bezugszeichen 2602 bedeutet einen Sehpunktdetektor zum Feststellen der Position des Auges eines Anwenders, der den Anzeigebildschirm 2601 betrachtet; und Bezugszeichen 2603 bedeutet eine Multisehpunktbilddatenbank, die Multisehpunktbilder speichert, gewonnen durch Photographieren eines Gegenstands aus Sehpunkten, die in einer Ebene zu groben Intervallen eingestellt sind.
Bezugszeichen 2604 bedeutet eine Anzeigeparameterhalteeinheit, die Parameter hält, die zugehörig sind zum Anzeigebildschirm 2601; Bezugszeichen 2605 bedeutet eine Sehpunktebenenhalteeinheit, die die Ebene hält (Sehpunktebene), wobei die Sehpunkte nach Photographieren der Bilder eingesetzt sind, um in der Datenbank 2603 gespeichert zu werden; und Bezugszeichen 2606 bedeutet eine Parameterhalteeinheit, die Bildparameter der Bilder hält, die in der Datenbank 2603 gespeichert sind, sowie unter Verwendung der gespeicherten Bilder interpolierte Bilder.
Bezugszeichen 2607 bedeutet eine Sehpunktparameterrecheneinheit zum Errechnen von Sehpunktparametern auf der Grundlage eines Signals aus dem Sehpunktdetektor 2602; , Bezugszeichen 2608 bedeutet eine Bilderzeugungseinheit zum Erzeugen von Bildern gemäß der Bewegung der Verschiebung des Sehpunktes; Bezugszeichen 2609 bedeutet ein Indexsignal, das ein Gegenstandspixel aufzeigt; Bezugszeichen 2610 bedeutet eine Sehlinienparameterrecheneinheit zum Errechnen der Richtung einer Sehlinie gemäß dem Pixel, das vom Indexsignal 2609 aufgezeigt ist; Bezugszeichen 2611 bedeutet eine Recheneinheit für virtuelle Sehpunktparameter zum Errechnen des Schnittpunktes (virtueller Sehpunkt) zwischen der Sichtlinie, dargestellt durch die Sichtlinienparameter und die Sehpunktebene; Bezugszeichen 2612 bedeutet eine Pixelpositionsrecheneinheit zum Errechnen einer Pixelposition gemäß der Sehlinienrichtung eines Bildes am virtuellen Sehpunkt auf der Grundlage der Sichtlinienparameter, der Sehpunktebene, der virtuellen Sehpunktparameter und der Bildparameter; Bezugszeichen 2613 bedeutet eine Pixelwertrecheneinheit zum Errechnen eines zugehörigen Pixelwertes auf der Grundlage von Bildern, die die Bilddatenbank hält, und Bildern, die unter Verwendung von gehaltenen Bildern interpoliert sind; und Bezugszeichen 2614 bedeutet eine Bildanzeigeeinheit, die auf dem Anzeigebildschirm 2601 Bilder darstellt.
Bezugszeichen 2615 bedeutet ein Aktualisierungssignal, das aufzeigt, daß die Sehpunktparameter aktualisiert werden; und Bezugszeichen 2616 bedeutet ein Pixelwertsignal, das den Pixelwert aufzeigt. Bezugszeichen 2617 bedeutet eine Interpolationsverarbeitungseinheit, die im zweiten Ausführungsbeispiel Verwendung findet und erzeugt Bilder mit hinreichend feinen Sehpunktintervallen unter Verwendung von Multisehpunktbildern, die aus Sehpunkten mit groben Intervallen photographiert sind.
Die Sehlinienparameterrecheneinheit 2610, die Recheneinheit 2611 für virtuelle Sehpunktparameter, die Recheneinheit 2612 für die Pixelpositionen, die Pixelwertrecheneinheit 2613 und die Interpolationsverarbeitungseinheit 2617 bilden gemeinsam eine Pixelwerterzeugungseinheit 2618.
Die Arbeitsweise des Bildanzeigegerätes mit der in Fig. 26 gezeigten Anordnung ist nachstehend kurz beschrieben. Wenn ein Anwender, der den Anzeigebildschirm 2601 betrachtet, sich mit seinem Sehpunkt hin und her bewegt durch Ändern seiner Kopfposition, ändert sich ein Signal aus dem Sehpunktdetektor 2602, und die Sehpunktparameterrecheneinheit 2607 liefert ein Aktualisierungssignal 2615 an die Bilderzeugungseinheit 2608 als Reaktion auf die Änderung des Signals. Nach Empfang vom Aktualisierungssignal 2615 beginnt die Bilderzeugungseinheit 2608 ein neues Bild gemäß der Sehpunktverschiebung zu erzeugen. Die Bilderzeugungseinheit 2608 fordert Pixelwertsignale 2616 gemäß Indexsignalen 2609 für alle Pixel aus der Pixelwerterzeugungseinheit 2618 an. Die Pixelwerterzeugungseinheit 2618 fordert Anzeigeparameter aus der Anzeigeparameterhalteeinheit 2604 an und errechnet Sehlinienparameter gemäß den Indexsignalen 2609. Die Recheneinheit 2611 für virtuelle Sehpunktparameter fordert eine Sehpunktebene aus der Sehpunktebenenhalteeinheit 2605 an und errechnet virtuelle Sehpunktparameter, die den Kreuzungspunkt (virtuellen Sehpunkt) zwischen der Sehlinie, dargestellt durch die Sehlinienparameter, und der Sehpunktebene darstellt.
Andererseits fordert die Pixelpositionsrecheneinheit 2612 Bildparameter aus der Bildparameterhalteeinheit 2606 an und errechnet eine Pixelposition gemäß der Richtung der Sehlinie eines Bildes an der virtuellen Sehpunktposition auf der Grundlage der Sehlinienparameter, der Sehpunktebene und den virtuellen Sehpunktparametern zusätzlich zu den angeforderten Bildparametern. Die Pixelwertrecheneinheit 2613 errechnet ein zugehöriges Pixelwertsignal 2616 aus Bildern, die aus der Datenbank 603 stammen, und interpolierten Bildern, die die Interpolationsverarbeitungseinheit 2617 auf der Grundlage der Bilder aus der Datenbank 2603 erzeugt, auf der Grundlage der Pixelposition und der virtuellen Sehpunktparameter. Wenn die Bilderzeugungseinheit 2608 Pixelwertsignale 2616 für alle Pixel aus der Pixelwertrecheneinheit 2613 anfordert, werden Signale an die Bildanzeigeeinheit 2614 gesandt. Die Bildanzeigeeinheit 2614 zeigt das erzeugte Bild an entsprechend der Sehpunktposition auf dem Anzeigebildschirm 2601.
Selbst wenn sich im Ergebnis ein Anwender mit seinem Sehpunkt nach vorne und nach hinten, nach oben und nach unten, nach rechts und nach links bewegt in seiner Position, die eine andere ist als die Sehpunktpositionen, bei denen das Bild in der Bilddatenbank 2603 gehalten ist, photographiert werden, kann der Anwender das Bild vom Gegenstand gemäß der Sehpunktverschiebung auf dem Anzeigebildschirm 2601 betrachten.
Die Verarbeitungsoperationen der jeweiligen Einheiten sind nachstehend genau beschrieben.
Die Verarbeitung der Sehlinienparameterrecheneinheit 2610 ist nachstehend anhand der Fig. 27 und 28 beschrieben.
Fig. 27 zeigt das Rechenprinzip der Sehlinienparameterrecheneinheit 2610. Bezugszeichen 2601 bedeutet einen Anzeigebildschirm; Bezugszeichen 2621 bedeutet einen Endpunkt (aufgezeigt durch einen Positionsvektor Xs) des Anzeigebildschirms 2601; Bezugszeichen 2622 bedeutet einen Vektor (aufgezeigt durch einen Anzeigebildschirmvektor p), der eine Länge hat, die zum Pixelabstand des Anzeigebildschirms 2601 paßt, und eine Neigung, die zu derjenigen des Bildschirms 2601 paßt; Bezugszeichen 2623 bedeutet die Position (aufgezeigt durch einen Positionsvektor Xp) des Gegenstandspixels auf dem Anzeigebildschirm 2601; Bezugszeichen 2624 bedeutet die Sehpunktposition (aufgezeigt durch einen Positionsvektor Xv) eines Anwenders; Bezugszeichen 2625 bedeutet eine Sichtlinie gemäß der Position 2623 vom Gegenstandspixel; und Bezugszeichen 2626 bedeutet einen Sehlinienvektor (aufgezeigt durch einen Vektor a), der die Neigung der Sehlinie 2625 darstellt.
Fig. 28 ist ein Ablaufdiagramm, das die Verarbeitung der Recheneinheit 2610 für Sehlinienparameter darstellt.
In Schritt S281 werden Sehpunktparameter aus der Sehpunktparameterrecheneinheit 2607 angefordert. In diesem Falle enthalten die Sehpunktparameter die Sehpunktposition 2624 vom in Fig. 27 gezeigten Anwender. In Schritt S182 werden Anzeigeparameter aus der Anzeigeparameterhalteeinheit 2604 angefordert. In diesem Falle enthalten die Anzeigeparameter den Endpunkt 2621 (Vektor Xs) auf dem Anzeigebildschirm 2601 und den Anzeigebildschirmvektor 2622 (Vektor p). Der Anzeigebildschirmvektor 2622 wird bestimmt durch die Neigung, die aktuelle Größe und die Pixelgröße vom Anzeigebildschirm. In Schritt S183 wird die Position 2623 vom Gegenstandspixel auf dem Anzeigebildschirm 2601 gemäß dem Indexsignal 2609 errechnet unter Verwendung der Formel (4), die unten angegeben ist, gemäß der in Fig. 27 gezeigten Geometrie. Angemerkt sei, daß das Indexsignal 2609 dargestellt wird durch i:
Xp = Xs + i·P ... (4)
In Schritt S284 werden die Sichtlinienparameter gemäß der Richtung der Pixelposition 2623, gesehen aus der Sehpunktposition 2624, errechnet. Die Sehlinienparameter enthalten einen Satz (Xv, a) von Sehpunktpositionen 2624 und die Linie vom Sehvektor 2626. Die Sichtlinie 2625 ist festgelegt durch eine gerade Linie, die zwei Punkte durchläuft, das heißt, die Pixelposition 2623 (Vektor Xp) und die Sehpunktposition 2624 (Vektor Xv) gemäß der in Fig. 27 gezeigten Geometrie, und der Sehlinienvektor 2626 wird errechnet unter Anwendung der nachstehenden Formel (5):
a = Xp + Xv ... (5)
Auf diese Weise errechnet die Recheneinheit 2610 für Sehlinienparameter die Sehlinienparameter.
Die Verarbeitung der virtuellen Sehpunktparameterrecheneinheit 2611 und der Pixelpositionsrecheneinheit 2612 ist nachstehend anhand Fig. 29 beschrieben.
Fig. 29 zeigt das Rechenprinzip der Recheneinheit 26 für virtuelle Sehpunktparameter und die Pixelpositionsrecheneinheit 2612. Bezugszeichen 2625 bedeutet eine Sehlinie; Bezugszeichen 2641 bedeutet eine gerade Linie, die eine Sehpunktanordnung darstellt, die in der Sehpunktebene nach Photographieren mit Multisehpunktbildern enthalten ist, gespeichert in der Datenbank 2603; Bezugszeichen 2642 bedeutet den Kreuzungspunkt (virtueller Sehpunkt; aufgezeigt durch den Positionsvektor X) zwischen der Sehlinie 2625 und der geraden Linie 2641; Bezugszeichen 2641 bedeutet einen Vektor (aufgezeigt durch einen Sehpunktanordnungsvektor T), der die Neigung der geraden Linie 2641 darstellt; und Bezugszeichen 2644 bedeutet einen Endpunkt (aufgezeigt durch den Positionsvektor X1) der geraden Linie 2641. Bezugszeichen 2645 bedeutet ein Sehfeld mit einem Feldwinkel θ beim virtuellen Sehpunkt 2642; Bezugszeichen 2646 bedeutet einen Vektor (aufgezeigt durch einen Brennpunktvektor f), der eine Länge hat, die zur Brennweite der Kamera paßt, die die Multisehpunktbilder photographiert, und mit einer Neigung, die zu dieser Kamera paßt; Bezugszeichen 2647 bedeutet eine virtuelle Bildebene beim virtuellen Sehpunkt 2642; Bezugszeichen 2648 bedeutet eine Pixelposition (aufgezeigt durch einen Positionsvektor Xp') als Schnittpunkt zwischen der virtuellen Abbildungsebene 2647 und der Sehlinie 2625; und Bezugszeichen 2649 bedeutet einen Vektor (aufgezeigt durch einen Abbildungsebenenvektor p'), der eine Länge hat, die zum Pixelabstand der virtuellen Abbildungsebene 2647 paßt, und der eine Neigung hat, die zu der der virtuellen Abbildungsebene 2647 paßt.
Angemerkt sei, daß der Sehpunktgliederungsvektor 2643 und der Endpunkt 2644 der geraden Linie 2641 in der Sehpunktebenenhalteeinheit 2605 als Werte gehalten werden, die eine photographische Sehpunktanordnung darstellen. Der Brennpunktvektor 2646 und der Abbildungsebenenvektor 2649 werden als Abbildungsparameter in der Abbildungsparameterhalteeinheit 2606 gehalten. Der Brennpunktvektor 2646 wird bestimmt durch die Brennweite und die Neigung der Kamera, die Multisehpunktbilder photographiert. Der Abbildungsebenenvektor 2649 ist ein Vektor, der den Brennpunktvektor 2646 kreuzt und hat eine Größe, die gleich der Zellengröße (der Größe eines Pixels) der Abbildungsebene ist.
Die Verarbeitung der virtuellen Sehpunktparameterrecheneinheit 2611 ist nachstehend anhand Fig. 29 beschrieben. Gemäß der in Fig. 29 gezeigten Geometrie wird der virtuelle Sehpunkt 2642 ausgedrückt durch die nachstehenden Formeln (6) und (7):
X = xl + t·Z ... (6)
X = Xv + α·a ... (7)
wobei t ein virtueller Sehpunktparameter ist, der einzigartig den virtuellen Sehpunkt repräsentiert, und ist ein Koeffizient der Richtung der Sehlinie. Der Parameter t wird errechnet durch Lösen der Formeln (6) und (7) zum Errechnen des virtuellen Sehpunkt X.
Die Verarbeitung der Pixelpositionsrecheneinheit 2612 ist nachstehend anhand Fig. 29 beschrieben. Gemäß der in Fig. 29 gezeigten Geometrie wird die Pixelposition 2648 dargestellt durch die nachstehenden Formeln (8) und (9):
Xp' = x + f = i'·p' ... (8)
Xp' = x + β·a ... (9)
wobei i' der Pixelpositionsparameter ist, der einzigartig die Pixelposition 2648 repräsentiert, und β ist ein Koeffizient der Richtung der Sehlinie. Der Parameter i' wird errechnet durch Lösen der Formeln (8) und (9) und wird verwendet als Ausgangssignal aus der Pixelpositionsrecheneinheit 2612.
Die Verarbeitung der Pixelwertrecheneinheit 2613 ist nachstehend genau beschrieben.
In diesem Ausführungsbeispiel hält die Bilddatenbank 2603 eine Vielzahl von Bildern, die gewonnen sind durch Photographieren eines einzelnen Gegenstands aus Sehpunkten zu groben Intervallen, und die Interpolationsverarbeitungseinheit 2617 gewinnt interpolierte Bilder, die mit hinreichend feinen Intervallen unter Verwendung der gehaltenen Bilder interpoliert sind. Die Interpolationsverarbeitung wird ausgeführt in einer Weise, wie sie zum zweiten Ausführungsbeispiel beschrieben wurde. Als ein ungefähres Abbild des Bildes vom virtuellen Sehpunkt 2642, dargestellt durch den virtuellen Sehpunktparameter t, errechnet von der virtuellen Sehpunktparameterrecheneinheit 2611, wird zunächst ein Bild aufgenommen aus einem Sehpunkt, der dem virtuellen Sehpunkt 2642 am nächsten liegt, und wird angefordert aus der Datenbank 2603. Die Interpolationsverarbeitungseinheit 2617 erzeugt auf der Grundlage des angeforderten Bildes ein interpoliertes Bild. Von diesem Bild wird der Wert eines Pixels an der Stelle, die der Pixelposition 2648 am nächsten liegt, errechnet von der Pixelpositionsrecheneinheit 2612, angefordert und wird abgegeben als Pixelwertsignal 2616.
In der obigen Beschreibung ist die Parallaxe der Richtung nach oben und nach unten aus Gründen der Vereinfachung fortgelassen. Wenn während der Verschiebung des Sehpunktes photographierte Bilder in der Richtung nach oben und nach unten vorbereitet werden, kann ein binokulares stereoskopisches Anzeigegerät, das den Sehpunkt in der Richtung nach oben und nach unten und nach rechts und nach links verschieben kann, während die Parallaxe in Richtung nach oben und nach unten berücksichtigt wird, realisiert werden durch das zuvor beschriebene Verfahren.
Wenn interpolierte Bilder großer Anzahl von den eingegebenen Bildern unter Verwendung der zuvor beschriebenen Anordnung und dem Verfahren erzeugt werden, können zugehörige Punkte, die aus zwei Bildern nicht zu gewinnen sind, nachgewiesen werden, womit die Interpolationsgenauigkeit verbessert ist. Nach Ausführen der zugehörigen Punktsuchverarbeitung kann eine Hochgeschwindigkeitssuchverarbeitung realisiert werden, da die Suchparameter automatisch bestimmt werden können unter Verwendung von photographischen Parametern. Da zugehörige Punkte aus einer großen Anzahl von Bildern gewonnen werden, kann das Problem der Verdeckung gelöst werden, wie schon zuvor beschrieben, und die Lagebeziehung zwischen den photographierten Gegenständen in der Richtung der Sehlinie können daran gehindert werden, umgedreht zu werden, da das Interpolationsverfahren unter der Verwendung der Anzahl festgestellter gerader Linien Anwendung findet. Da interpolierte Bilder, gewonnen in der zuvor beschriebenen Weise, gemäß dem Sehpunkt eines Betrachters dargestellt werden, kann das Bildanzeigegerät dieses Ausführungsbeispiels stufenlos ein Bild mit hoher Genauigkeit verschieben, nachdem sich der Sehpunkt des Betrachters verändert hat.
Wenn der Anzeigebildschirm 2601 und die Bildanzeigeeinheit 2614 über einen stereoskopischen Anzeigebildschirm verfügen und über eine stereoskopische Bildanzeigeeinheit, die eine binokulare stereoskopische Ansicht liefern kann, beispielsweise ein linsenförmiges oder Brillensystem, errechnet die Sehpunktparameterrecheneinheit 2607 Sehpunktparameter gemäß den Positionen vom rechten und vom linken Auge, und die Bilderzeugungseinheit 2608 erzeugt Bilder, die dargestellt werden für das rechte und für das linke Auge, ein binokulares stereoskopisches Anzeigegerät, das den Sehpunkt nach vorn und nach hinten, nach oben und nach unten und nach rechts und nach links verschieben kann, ist realisiert.

[Viertes Ausführungsbeispiel]

In einem Bildanzeigegerät, das nachstehend zu erläutern ist, umfaßt der Anzeigebildschirm 2601 im dritten Ausführungsbeispiel eine sogenannte Kopfanzeige (HMD), die auf dem Kopfabschnitt des Anwenders befestigt ist.
In der Anordnung dieses Ausführungsbeispiels werden nur die Verarbeitungsinhalte der Sehlinienparameterrecheneinheit 2610 und in der Anordnung vom dritten Ausführungsbeispiel ersetzt durch nachstehend zu beschreibende Verarbeitung. In der nachstehenden Beschreibung ist die Parallaxe in der Richtung nach oben und nach unten fortgelassen.
Fig. 30 zeigt das Rechenprinzip der Sehlinienparameterrecheneinheit 2610 dieses Ausführungsbeispiels. Bezugszeichen 2601 bedeutet einen Anzeigebildschirm; Bezugszeichen 2622 bedeutet einen Vektor (Anzeigebildschirmvektor p), dessen Länge zum Pixelabstand des Anzeigebildschirms 2601 paßt, und eine Neigung, die zum Anzeigebildschirm 2601 paßt; Bezugszeichen 2623 bedeutet die Position (Positionsvektor Xp) des Gegenstandspixels auf dem Anzeigebildschirm 2601; Bezugszeichen 2624 bedeutet die Sehpunktposition (Positionsvektor Xv) eines Anwenders; Bezugszeichen 2111 bedeutet einen Vektor (Vorderseitenvektor F) aus der Sehpunktposition 2624 zum Mittelpunkt auf dem Anzeigebildschirm 2601; Bezugszeichen 2625 bedeutet eine Sehlinie gemäß der Position 2623 vom Gegenstandspixel; und Bezugszeichen 2626 bedeutet einen Sehlinienvektor (Vektor a), der die Neigung der Sehlinie 2625 darstellt.
Die Verarbeitung der Sehlinienparameterrecheneinheit 2610 ist nachstehend anhand Fig. 30 beschrieben. Im Anzeigegerät des HMD-Typs stellt der Sehpunktdetektor 2602 die Neigung der Richtung der Vorderseite fest, das heißt, die Neigung des Vorderseitenvektors 2111 zusätzlich zur Position des Sehpunkts 2624 vom Anwender. Die Neigung des Anzeigebildschirms 2601 wird bestimmt durch die Neigung des Vorderseitenvektors 2111 (ist normalerweise ein rechter Winkel). Andererseits haben der Abstand von der Sehpunktposition 2624 zum Anzeigebildschirm 2601, das heißt, die Länge des Vorderseitenvektors 2111 und der Pixelabstand, das heißt, die Länge des Anzeigebildschirmvektors 2622 feststehende Werte, die bestimmt sind durch die Gestalt vom HMD, und diese Werte werden in der Anzeigeparameterhalteeinheit 2604 gehalten. Gemäß der in Fig. 30 gezeigten Geometrie werden die Position 2623 (Vektor Xp) und das Gegenstandspixel des Sehlinienvektors 2626 (Vektor a) errechnet unter Verwendung der nachstehenden Formeln:
Xp = Xv + F + i·p ... (10)
a = Xp - Xv ... (11)
wobei I das Indexsignal 2609 ist.
Wenn die Pixelposition und die Sehlinie von der Recheneinheit 2610 für Sehlinienparameter errechnet sind, wie zuvor beschrieben, und eine andere Anordnung und Verarbeitung in derselben Weise wie im zweiten Ausführungsbeispiel erzielt werden, kann ein Bildanzeigegerät vom HMD-Typ realisiert werden, das Multisehpunktbilder an einem willkürlichen Sehpunkt verschieben und anzeigen kann.
Anstelle des Anzeigebildschirms 2601, der am Kopf des Benutzers befestigt ist, wenn die vorliegende Erfindung angewandt wird bei einem Anzeigegerät der Cockpitart, welches befestigt ist an einer Stelle und in dem die relative Lagebeziehung zwischen dem Anzeigebildschirm 2601 und der Sehpunktposition 2624 eines Anwenders fixiert ist, kann ein Bildanzeigegerät, das ein verschobenes zu einem willkürlichen Sehpunkt anzeigen kann, realisiert werden durch dieselbe Verarbeitung der Recheneinheit 2601 für visuelle Parameter, wie in diesem Ausführungsbeispiel. Anstelle des Sehpunktdetektors 2602 wird in diesem Falle eine Sehpunktpositionseingabeeinrichtung verwendet, um die Sehpunktposition 2624 auf einem Bezugskoordinatensystem, beispielsweise unter Verwendung eines Steuerrades, zu verschieben.
Wenn interpolierte Bilder aus einer großen Anzahl eingegebener Bilder erzeugt werden unter Verwendung der zuvor beschriebenen Anordnung und dem zuvor beschriebenen Verfahren, können zugehörige Punkte, die sich nicht aus zwei Bildern erzielen lassen, festgestellt werden, womit die Interpolationsgenauigkeit verbessert wird. Nach Ausführen der zugehörigen Punktsuchverarbeitung kann eine Hochgeschwindigkeitssuchverarbeitung realisiert werden, da die Suchparameter automatisch unter Verwendung photographischer Parameter bestimmt werden. Da die zugehörigen Punkte aus einer großen Anzahl von Bildern gewonnen werden, läßt sich das Problem der Verdeckung lösen, wie schon beschrieben, und die Lagebeziehung zwischen den photographierten Gegenständen in der Richtung der Sehlinie kann daran gehindert werden, sich umzukehren, da das Interpolationsverfahren unter Verwendung der Anzahl festgestellter gerader Linien Verwendung findet. Da interpolierte Bilder in der zuvor beschriebenen Weise gewonnen werden und dargestellt werden gemäß dem Sehpunkt eines Betrachters, kann ein Bild stufenlos verschoben werden mit hoher Genauigkeit nach Verschieben des Sehpunktes vom Betrachter gemäß dem HMD dieses Ausführungsbeispiels.
Im zweiten bis vierten Ausführungsbeispiel werden Multisehpunktbilder, die im voraus photographiert wurden, und interpolierte Bilder, die die gespeicherten Bilder verwenden, in der Bilddatenbank 2603 gehalten. Wird die Datenbank ersetzt durch eine Multiaugenfernsehkamera, die Multisehpunktbilder in Echtzeit aufnehmen kann, läßt sich ein Echtzeitphotographier-/ -anzeigesystem mit willkürlichen Sehpunktbildern realisieren.
Selbst wenn mit der obigen Anordnung die Lagebeziehung zwischen Gegenständen in der Richtung der Sehlinie umkehrt, kann das Gerät eines jeden obigen Ausführungsbeispiels Bilder mit hoher Genauigkeit interpolieren. Da zugehörige Suchpunktparameter automatisch bestimmt werden, kann eine Hochgeschwindigkeitsinterpolationsverarbeitung realisiert werden. Durch Rekonstruieren von Bildern gemäß der Sehpunktverschiebung in Richtung zurück und nach vorne unter Verwendung einer großen Anzahl von Bildern, erzeugt durch Interpolationsverarbeitung, oder von Multisehpunktbildern, die photographiert sind durch Verschieben eines Sehpunkts in hinreichend feinen Intervallen, kann eine Sehpunktverschiebung in Richtung zurück und nach vorne geschaffen werden, die durch ein herkömmliches System nicht realisierbar ist.
Angemerkt sei, daß sich die vorliegende Erfindung bei einem Bildverarbeitungsgerät des alleinstehenden Typs, bei einem System mit einem Multisehpunktfernsehpunktsystem, einem Multisehpunktvideofernsprechendgerät, einem Multisehpunktvideokonferenzsystem und dergleichen anwenden läßt, oder bei einem zusammengesetzten Gerät als Kombination aus einem Computer und einem anderen Bildverarbeitungsgerät.

[Beispiel zum Stand der Technik]

< Anordnung des Gerätes>

Fig. 31 ist ein Blockdiagramm, das die Anordnung eines Bildverarbeitungsgerätes nach einem Beispiel des Standes der Technik zeigt, welches kein Ausführungsbeispiel der Erfindung ist, sondern welches dem besseren Verständnis zum fünften Ausführungsbeispiel dient. Unter Bezug auf Fig. 31 bedeutet Bezugszeichen 2601 einen Anzeigebildschirm, der eine feststehende Position hat und Bilder darstellt; Bezugszeichen 2602 bedeutet einen Sehpunktdetektor zum Feststellen der Position vom Auge eines Anwenders, der den Bildschirm 2601 betrachtet; und Bezugszeichen 2603 bedeutet eine Multisehpunktbilddatenbank, die Multisehpunktbilder speichert, die gewonnen wurden durch Photographieren eines Gegenstands aus Sehpunkten, die mit hinreichend feinen Intervallen auf eine gerade Linie gesetzt sind. Bezugszeichen 2604 bedeutet eine Anzeigeparameterhalteeinheit, die Parameter hält, die zum Anzeigebildschirm 2601 gehören; Bezugszeichen 2605 bedeutet eine Sehpunktgliederungshalteeinheit, die eine gerade Linie hält (wird nachstehend als Sehpunktanordnung bezeichnet), die die Sehpunktanordnung nach Photographieren von zu speichernden Bildern in der Bilddatenbank 2603 umfaßt; und Bezugszeichen 2606 bedeutet eine Bildparameterhalteeinheit, die Bildparameter von in der Bilddatenbank 2603 gespeicherten Multisehpunktbildern hält.
Bezugszeichen 2607 bedeutet eine Sehpunktparameterrecheneinheit zum Errechnen von Sehpunktparametern auf der Grundlage eines Signals aus dem Sehpunktdetektor 2602; Bezugszeichen 2608 bedeutet eine Bilderzeugungseinheit zum Erzeugen von Bildern gemäß der Verschiebung des Sehpunktes; Bezugszeichen 2609 bedeutet ein Indexsignal, das ein Gegenstandspixel aufzeigt; Bezugszeichen 2610 bedeutet eine Recheneinheit für Sehlinienparameter zum Errechnen der Richtung der Sehlinie gemäß dem Pixel, das vom Indexsignal 2609 aufgezeigt wird; Bezugszeichen 2611 bedeutet eine Recheneinheit für virtuelle Sehpunktparameter zum Errechnen des Schnittpunktes (virtueller Sehpunkt) zwischen der Sehlinie, die durch die Sehlinienparameter und die Sehpunktanordnung dargestellt ist; Bezugszeichen 2612 bedeutet eine Recheneinheit für die Pixelposition zum Errechnen einer Pixelposition gemäß der Richtung der Sehlinie eines Bildes beim virtuellen Sehpunkt auf der Grundlage der Sehlinienparameter, der Sehpunktanordnung, den virtuellen Sehpunktparametern und den Bildparametern; Bezugszeichen 2613 bedeutet eine Recheneinheit für Pixelwerte zum Errechnen eines zugehörigen Pixelwertes aus den Multisehpunktbildern, die in der Datenbank 2603 gehalten sind, auf der Grundlage der Pixelposition und den virtuellen Sehpunktparametern; und Bezugszeichen 2614 bedeutet eine Bildanzeigeeinheit zum Darstellen von Bildern auf dem Anzeigebildschirm 2601. Bezugszeichen 2615 bedeutet ein Aktualisierungssignal, das aufzeigt, daß die Sehpunktparameter aktualisiert sind; und Bezugszeichen 2616 bedeutet ein Pixelwertsignal. Die Recheneinheit 2610 für Sehlinienparameter, die Recheneinheit 2611 für virtuelle Sehpunktparameter, die Recheneinheit 2612 für die Pixelposition und die Recheneinheit 2613 für Pixelwerte bilden eine Pixelwerterzeugungseinheit 3101. Bezugszeichen 3102 bedeutet eine Verzerrungskorrektureinheit, die beliebige Verzerrungen in der Richtung nach oben und nach unten korrigiert.
Angemerkt sei, daß die Bilddatenbank 2603 Bilder hält, die durch Photographieren eines Gegenstands gewonnen sind, der von einer großen Anzahl von Sehpunkten auf einer geraden Linie mit hinreichend feinen Intervallen angezeigt wird. Andererseits sind Daten, die in der Sehpunktgliederungshalteeinheit 2605 gehalten werden, jene, die die gerade Linie mit der Sehpunktanordnung nach Photographieren dieser Bilder darstellen. Die Bilderzeugungseinheit 2608 erzeugt ein Bild nach Aufnahme des Aktualisierungssignals 2615. Die Bilderzeugungseinheit 2608 gibt das Indexsignal 2609 ab, das die Koordinaten eines Gegenstandspixels auf einem rekonstruierten Bild aufzeigt, das heißt, ein Bild auf dem Anzeigebildschirm 2601. Das Indexsignal 2609 wird sequentiell abgegeben, um alle Pixel vom rekonstruierten Bild nach Rekonstruktion eines Bildes zirkulieren zu lassen.

< Arbeitsweise vom Gerät>

Die Arbeitsweise dieses Beispiels nach dem Stand der Technik ist nachstehend beschrieben. Ein Umriß der Arbeitsweise ist nachstehend als erstes erläutert.
Wenn ein Anwender, der den Anzeigebildschirm 2601 betrachtet, sich bewegt und dadurch den Sehpunkt durch Ändern der Kopfposition verschiebt, ändert sich ein Signal aus dem Sehpunktdetektor 2602, und die Sehpunktparameterrecheneinheit 2607 liefert ein Aktualisierungssignal 2615 an die Bilderzeugungseinheit 2608 als Reaktion auf die Änderung des Signals. Nach Empfang des Aktualisierungssignals 2615 beginnt die Bilderzeugungseinheit 2608, ein neues Bild gemäß der Sehpunktverschiebung zu erzeugen. Das neue Bild wird folgendermaßen erzeugt. Die Bilderzeugungseinheit 2608 gibt sequentiell Indexsignals 2609 für alle Pixel ab, und die Pixelwerterzeugungseinheit 3101 fordert Pixelwertsignale 2616 sequentiell in Einheiten von Pixeln an. Die Arbeitsweise der Pixelwerterzeugungseinheit 3101 ist nachstehend beschrieben.

[Arbeitsweise der Pixelwerterzeugungseinheit]

In der Pixelwerterzeugungseinheit 3101 fordert die Recheneinheit 2610 für Sehlinienparameter Sehpunktparameter aus der Sehpunktparameterrecheneinheit 2607 und Anzeigeparameter aus der Anzeigeparameterhalteeinheit 2604 an und errechnet Sehlinienparameter gemäß dem eingegebenen Indexsignal 2609. Die Recheneinheit 2611 für virtuelle Sehpunktparameter fordert eine Sehpunktanordnung aus der Sehpunktgliederungshalteeinheit 2605 an und errechnet virtuelle Sehpunktparameter, die den Kreuzungspunkt (virtuellen Sehpunkt) zwischen der Sehlinie darstellen, die durch die Sehlinienparameter dargestellt ist, und der Sehpunktanordnung. Andererseits fordert die Pixelwertrecheneinheit 2613 Bildparameter aus der Bildparameterhalteeinheit 2606 an und errechnet eine Pixelposition gemäß der Richtung der Sehlinie eines Bildes beim virtuellen Sehpunkt auf der Grundlage der Sehlinienparameter, der Sehpunktanordnung und den virtuellen Sehpunktparametern zusätzlich zu den angeforderten Bildparametern. Die Pixelwertrecheneinheit 2613 errechnet ein zugehöriges Pixelwertsignal 2616 aus Bildern in der Bilddatenbank 2603 auf der Grundlage der Pixelposition und der virtuellen Sehpunktparameter. Auf diese Weise errechnet die Pixelwerterzeugungseinheit 3101 das Pixelwertsignal 2616 für jedes eingegebene Pixelsignal 2609 und gibt das errechnete Signal an die Bilderzeugungseinheit 2608 ab.

[Verarbeitung vom erzeugten Pixelwert]

Wenn die Bilderzeugungseinheit 2608 die Pixelwertsignals 2616 für alle Pixel aus der Pixelwertrecheneinheit 2613 gewinnt, sendet sie diese Signale an die Verzerrungskorrektureinheit 3102. Die Verzerrungskorrektureinheit 3102 vergrößert oder verkleinert das Bild in Richtung nach oben und nach unten, um eine Verzerrung zu korrigieren, in der Richtung nach oben und nach unten vom erzeugten Bild, und gibt das korrigierte Bild an die Bildanzeigeeinheit 2614 ab. Die Bildanzeigeeinheit 2614 stellt das erzeugte Bild gemäß dem neuen Sehpunkt auf dem Anzeigebildschirm 2601 dar. Auf diese Weise wird eine Serie von Bilderzeugungsoperationen nach Sehpunktverschiebung eines Anwenders abgeschlossen. Wie aus der folgenden Beschreibung hervorgeht, wenn ein Anwender den Sehpunkt nach hinten und nach vorne und nach rechts und links verschiebt, kann er das Bild vom Gegenstand gemäß der Sehpunktverschiebung betrachten, selbst wenn die aktuelle Sehpunktposition von den Sehpunkten abweicht, bei denen die Bilder, gehalten in der Datenbank 2603, photographiert werden.
Die Verarbeitung der jeweiligen Einheiten ist nachstehend detailliert anhand der Fig. 31 bis 35 und der Fig. 45 beschrieben.

[Errechnung der Parameter visueller Achsen (Schritt 431 in Fig. 45)]

Die Sehlinienparameterrechenverarbeitung in der Recheneinheit 2610 für Sehlinienparameter ist nachstehend beschrieben.
Fig. 32 zeigt das Rechenprinzip der Recheneinheit 2610 für Sehlinienparameter im Bildverarbeitungsgerät des Beispiels nach dem Stand der Technik. Unter Bezug auf Fig. 32 bedeutet Bezugszeichen 2621 einen Endpunkt des Anzeigebildschirms 2601; Bezugszeichen 2622 bedeutet einen Anzeigebildschirmvektor, der eine Länge, die zum Pixelabstand des Anzeigebildschirms 2601 paßt, und eine Neigung hat, die zum Anzeigebildschirm 2601 paßt; Bezugszeichen 2623 bedeutet die Position eines Gegenstandspixels auf dem Anzeigebildschirm 2601; Bezugszeichen 2624 bedeutet die Sehpunktposition eines Anwenders; Bezugszeichen 2625 bedeutet eine Sehlinie gemäß der Position 2623 des Gegenstandspixels; und Bezugszeichen 2626 bedeutet einen Sehlinienvektor, der die Neigung der Sehlinie 2625 darstellt.
Angemerkt sei, daß der Endpunkt 2621, die Position 2623 des Gegenstandspixels, die Sehpunktposition 2624 des Anwenders, der Anzeigebildschirmvektor 2622 und der Sehlinienvektor 2626 jeweils dargestellt sind durch die Vektoren Xs, Xp, Xv, p beziehungsweise a. Vektorkomponenten in der Richtung nach oben und nach unten werden ignoriert, und die Verarbeitung wird ausgeführt in einer Ebene, die festgelegt ist durch die Richtungen nach rechts und nach links und die Richtungen zurück und nach vorne.
Fig. 33 ist ein Ablaufdiagramm, das die Arbeit der Recheneinheit 2610 für Sehlinienparameter im Bildverarbeitungsgerät des zweiten Beispiels nach dem Stand der Technik zeigt.
In Schritt S331 werden Sehpunktparameter aus der Sehpunktparameterrecheneinheit 2607 angefordert. In diesem Falle enthalten die Sehpunktparameter die Sehpunktposition 2624 des in Fig. 32 gezeigten Anwenders. In Schritt S332 werden Anzeigeparameter aus der Anzeigeparameterhalteeinheit 2604 aufgenommen. In diesem Falle werden die Anzeigeparameter ausgedrückt durch den Endpunkt 2621 des Anzeigebildschirms 2601 und des Anzeigebildschirmvektors 2622. Der Anzeigebildschirmvektor 2622 ist bestimmt durch die Neigung, die aktuelle Größe und durch die Pixelgröße des Anzeigebildschirms 2601. In Schritt S333 wird die Position 2623 des Gegenstandspixels des Anzeigebildschirms 2601 gemäß dem Indexsignal 2609 aus Formel (12) errechnet, die nachstehend angegeben ist, auf der Grundlage der in Fig. 32 gezeigten Anordnung:
Xp = Xs + i·p ... (12)
wobei i das Indexsignal 2609 ist.
In Schritt S334 werden die Sehlinienparameter gemäß der Richtung der Pixelposition 2623, gesehen von der Sehpunktposition 2624 des Anwenders, errechnet. Die Sehlinienparameter werden ausgedrückt durch einen Satz (Xv, a) der Sehpunktposition 2624 und des Sehlinienvektors 2626. Da die Sehlinie 2625 festgelegt ist durch eine gerade Linie, die zwei Punkte durchläuft, daß die Position 2623 des Gegenstandspixels und die Sehpunktposition 2624 des Anwenders, kann der Sehlinienvektor 2626 errechnet werden unter Verwendung der Formel (13), die nachstehend angegeben ist:
a = Xp - Xv ... (13)

[Errechnung der Pixelposition und des virtuellen Sehpunktes (Schritt S452 in Fig. 45)]

Die Verarbeitung der Recheneinheit 2611 für virtuelle Sehpunktparameter und der Recheneinheit 2612 für die Pixelpositionen ist nachstehend anhand Fig. 34 beschrieben.
Fig. 34 zeigt das Rechenprinzip der Recheneinheit 2611 für virtuelle Sehpunktparameter und die Recheneinheit 2612 für Pixelpositionen im Bildverarbeitungsgerät des Beispiels nach dem Stand der Technik. Unter Bezug auf Fig. 34 bedeutet Bezugszeichen 2641 eine gerade Linie, die die Sehpunktanordnung nach Photographieren von Multisehpunktbildern umfaßt, gespeichert in der Bilddatenbank 2603; Bezugszeichen 2642 bedeutet einen virtuellen Sehpunkt als Kreuzungspunkt zwischen der Sehlinie 2625 und der geraden Linie 2641; Bezugszeichen 2643 bedeutet einen Sehpunktanordnungsvektor, der die Neigung der geraden Linie 2641 darstellt; und Bezugszeichen 2644 bedeutet einen Endpunkt der geraden Linie 2641. Bezugszeichen 2645 bedeutet ein Sehfeld mit einem Feldwinkel A am virtuellen Sehpunkt 2642; Bezugszeichen 2646 bedeutet einen Brennpunktvektor mit einer Länge, die zu der Brennweite der Kamera paßt, die die Multisehpunktbilder photographiert, und mit einer Neigung, die zu der Kamera paßt; Bezugszeichen 2647 bedeutet eine virtuelle Abbildungsebene vom virtuellen Sehpunkt 2642; Bezugszeichen 2648 bedeutet eine Pixelposition als Kreuzungspunkt zwischen der virtuellen Abbildungsebene 2647 und der Sehlinie 2625; und Bezugszeichen 2649 bedeutet einen Abbildungsebenenvektor, der eine Länge, die zum Pixelabstand der virtuellen Abbildungsebene 2647 paßt, und eine Neigung hat, die zu derjenigen der virtuellen Abbildungsebene 2647 paßt (normalerweise senkrecht zum Brennpunktvektor 2646).
Angemerkt sei, daß der virtuelle Sehpunkt 2642, der virtuelle Punktanordnungsvektor 2643, der Endpunkt 2644, der Brennpunktvektor 2646, die Pixelposition 2648 und der Abbildungsebenenvektor 2649 jeweils ausgedrückt werden durch die Vektoren X, T, X1, f, Xp' beziehungsweise p'. Aus Gründen der Vereinfachung werden Vektorkomponenten in der Richtung nach oben und nach unten ignoriert, und die Verarbeitung wird in einer Ebene ausgeführt, die festgelegt ist durch die Richtungen nach rechts und nach links und zurück und nach vorn.
Angemerkt sei, daß der Sehpunktanordnungsvektor 2643 und der Endpunkt 2644 in der Sehpunktgliederungshalteeinheit 2605 als Werte gehalten werden, die die gerade Linie 2641 darstellen. Der Brennpunktvektor 2646 und der Abbildungsebenenvektor 2649 sind in der Abbildungsparameterhalteeinheit 2606 als Bildparameter gehalten. Die Größe des Abbildungsebenenvektors 2649 ist gleich der Zellengröße (der Größe eines Pixels) einer aktuellen Abbildungsebene. Andererseits wird die gerade Linie 2641 parallel zum Anzeigebildschirmvektor 2622 angeordnet.
Wenn die jeweiligen Punkte und Vektoren ausgedrückt werden, wie zuvor beschrieben, wird der virtuelle Sehpunkt 2642 durch die nachstehend angegebenen Formeln (14) und (15) ausgedrückt:
X = X1 + t·T ... (14)
X = Xv + α·a ... (15)
wobei t ein virtueller Sehpunktparameter ist, der einzigartig den virtuellen Sehpunkt darstellt, und a ein Koeffizient der Richtung der Sehlinie ist. Die Recheneinheit 2611 für virtuelle Sehpunktparameter errechnet den virtuellen Sehpunktparameter t durch Lösen der Formeln (14) und (15), um den virtuellen Sehpunktpositionsvektor X zu errechnen.
Die Pixelposition 2648 wird durch die nachstehend angegebenen Formeln (16) und (17) angegeben:
Xp' = X + f + i'·p' ... (16)
Xp' = X + β·a ... (17)
wobei i' ein Pixelpositionsparameter ist, der einzigartig die Pixelposition 2648 repräsentiert, und β ein Koeffizient der Richtung der Sehlinie ist. Die Pixelpositionsrecheneinheit 2612 errechnet den Pixelpositionsparameter i' durch Lösen der Formeln (16) und (17) und gibt die errechneten Parameter ab.

[Errechnung des Pixelwertes (Schritt S453 in Fig. 45)]

Die Verarbeitung der Pixelwertrecheneinheit 2613 ist nachstehend in Einzelheiten beschrieben.
In diesem Beispiel zum Stand der Technik hält die Bilddatenbank 2603 Multisehpunktbilder, die von Sehpunkten photographiert wurden, die hinreichend kleine Intervalle aufweisen. In einem passenden Bild der Abbildung aus dem virtuellen Sehpunkt 2642, dargestellt durch den virtuellen Sehpunktparameter t, den die Recheneinheit 2611 für virtuelle Sehpunktparameter errechnet hat, wird ein von einem Sehpunkt photographiertes Bild, das dem virtuellen Sehpunkt 2642 am nächsten liegt, aus der Bilddatenbank 2603 gefunden. Von diesem Bild wird der Wert eines Pixels an einer Position, die der Stelle 2648 des Gegenstandspixels am nächsten ist, errechnet durch die Pixelpositionsrecheneinheit 2612, aufgenommen und ausgegeben als Pixelwertsignal 2616.

[Verzerrungskorrektur (Schritt S454 in Fig. 45)]

Die Verarbeitung der Verzerrungskorrektureinheit 3103 ist nachstehend detailliert beschrieben. Da in der Abbildungsdatenbank 2603 gespeicherte Bilder photographiert sind durch Ändern des Sehpunktes in der Richtung nach rechts und nach links, haben diese keine Parallaxeninformation in der Richtung nach oben und nach unten. Aus diesem Grund kann die Bilderzeugungseinheit 2608 optisch ein Bild nicht perfekt rekonstruieren, das der Sehpunktbewegung in der Richtung zurück und nach vorne entspricht, und das rekonstruierte Bild ist in der Richtung nach oben und nach unten verzerrt. Die Verzerrungskorrektureinheit 3102 vergrößert oder verkleinert das Bild in der Richtung nach oben und nach unten gemäß der Sehpunktposition 2624 vom Anwender, wodurch die Verzerrung des Bildes vom Gegenstand korrigiert wird, das von der geraden Linie 2641 um einen speziellen Abstand beabstandet ist.
Fig. 35 zeigt das Prinzip der Verzerrungskorrektureinheit 3102. Unter Bezug auf Fig. 35 bedeutet Bezugszeichen T die Höhe eines gegebenen Gegenstands; Bezugszeichen Td bedeutet den Abstand zum Gegenstand; Bezugszeichen F bedeutet die Brennweite der Kamera; Bezugszeichen S (Großbuchstabe) bedeutet die Höhe eines photographierten Gegenstands vom Bild; Bezugszeichen z bedeutet den Verschiebungsabstand in der Richtung zurück und nach vorne; und Bezugszeichen S' (Großbuchstabe) bedeutet die Höhe des rekonstruierten Bildes vom Gegenstand.
Werden die jeweiligen Werte ausgedrückt, wie zuvor beschrieben, gelten die Formeln (18) und (19), die nachstehend angegeben sind:
S/F = T/Td ... (18)
S'/F = T/(Td - z) ... (19)
Durch Lösen der Formeln (18) und (19) ergibt sich die Formel (20):
K = S'/S = Td/(Td - z) ... (20)
wobei k der Verzerrungsgrad ist, der die Verzerrung in Richtung nach oben und nach unten angibt. Die Verzerrungskorrektureinheit 3102 setzt als Sehpunktverschiebungsabstand z eine Differenz zwischen dem Koordinatenwert in der Richtung nach hinten und nach vorne von der Sehpunktposition 2624 des Anwenders, gewonnen aus der Sehpunktparameterrecheneinheit 2607, und dem Koordinatenwert in der Richtung nach hinten und nach vorne von der geraden Linien 2641, die gewonnen wird aus der Sehpunktgliederungshalteeinheit 2605. Andererseits hält die Bildparameterhalteeinheit 2606 den Wert eines groben Abstands zum Gegenstandspunkt (oder zum Scharfeinstellpunkt) des photographierten Gegenstands als Abstand Td. Die Verzerrungskorrektureinheit 3102 nimmt diesen Wert aus der Bildparameterhalteeinheit 2606 auf. Die Verzerrungskorrektureinheit 3102 errechnet den Verzerrungsgrad durch Lösen der Formel (20) und vergrößert oder verkleinert das aus der Bilderzeugungseinheit 2608 empfangene Bild um einen Faktor des Grades der Verzerrung. Die Verzerrungskorrektureinheit 3102 gibt die korrigierten Bilddaten an die Bildanzeigeeinheit 2614 ab.
Wie zuvor beschrieben kann das Bildverarbeitungsgerät dieses Beispiels nach dem Stand der Technik ein Bild gemäß der Sehpunktposition anzeigen, selbst wenn die Sehpunktposition eines Betrachters nicht nur in einer Richtung parallel zur geraden Linie verschoben ist, die die Sehpunktanordnung einschließt, sondern auch in der Richtung nach hinten und nach vorne.
Genauer gesagt, wenn die Position vom Auge des Betrachters festgestellt ist und ein vom Betrachter gesehenes Bild rekonstruiert wird unter Verwendung einer Vielzahl von Bildern, kann ein Bild gemäß der Verschiebung des Sehpunkts vom Betrachter stufenlos abgegeben werden. Des weiteren kann eine Sehpunktverschiebung in Richtung nach hinten und nach vorne realisiert werden, die mit dem herkömmlichen System nicht ausgeführt werden kann.
Wenn der Anzeigebildschirm 2601 und die Bildanzeigeeinheit 2614 über einen stereoskopischen Anzeigebildschirm und über eine stereoskopische Bildanzeigeeinheit verfügen, die eine binokulare stereoskopische Ansicht durch beispielsweise ein linsenförmiges oder ein Brillensystem ermöglichen, errechnet die Sehpunktparameterrecheneinheit 2607 Sehpunktparameter gemäß den Positionen vom linken und vom rechten Auge, und die Bilderzeugungseinheit 2608 erzeugt Bilder, die für die beiden Augen präsentiert werden, und ein binokulares stereoskopisches Anzeigegerät, das den Sehpunkt nach hinten und nach vorne und nach rechts und nach links verschieben kann, ist somit realisiert.
Darüber hinaus kann nicht nur die Verzerrung in der Richtung nach oben und nach unten eines Bildes sondern auch die Verzerrung in Richtung nach rechts und nach links eines Bildes korrigiert werden gemäß der Sehpunktposition nach dem zuvor beschriebenen Verfahren.

[Fünftes Ausführungsbeispiel]

Ein Bildanzeigegerät, das Bilder gemäß der Sehlinienverschiebung frei darstellen kann, selbst wenn das Sehpunktintervall von Bildern, die in der Bilddatenbank 2603 gehalten werden, nicht hinreichend fein ist, ist nachstehend erläutert.
Fig. 36 ist ein Blockdiagramm, das die Anordnung eines Bildverarbeitungsgerätes dieses Ausführungsbeispiels zeigt. Dieselben Bezugszeichen in Fig. 36 bedeuten dieselben Teile wie im obigen Beispiel nach dem Stand der Technik und eine detaillierte Beschreibung ist fortgelassen. In diesem Bildverarbeitungsgerät ist eine Interpolationsverarbeitungseinheit 2617 zwischen der Bilddatenbank 2603 und der Pixelwertrecheneinheit 2613 angeordnet. Die Interpolationsverarbeitungseinheit 2617 erzeugt eine Gruppe von Bildern, die hinreichend feine Sehpunktintervalle haben durch Ausführen einer Interpolationsverarbeitung unter Verwendung von Bildern, die aus Sehpunkten photographiert sind, die grobe Intervalle haben und in der Bilddatenbank 2603 gespeichert sind. Unter Verwendung der interpolierten Bilder mit hinreichend feinen Sehpunktintervallen kann ein Bild gemäß der Sehpunktverschiebung eines Anwenders als Beispiel zum Stand der Technik erzeugt werden. Die Bilddatenbank 2603 hält Bilder aus den Photographiersehpunkten, die auf einer geraden Linie in der Richtung nach rechts und nach links angeordnet sind. Die Interpolationsverarbeitungseinheit 2617 ist nachstehend detailliert anhand der Fig. 37 bis 42 beschrieben.
Fig. 37 ist ein Ablaufdiagramm, das den Verarbeitungsfluß der Interpolationsverarbeitungseinheit 2617 von diesem Ausführungsbeispiel darstellt.
In Schritt S371 wird eine Gruppe von Bildern, photographiert mit groben Sehpunktintervallen, aus der Bilddatenbank 2603 entgegengenommen. In Schritt S372 wird eine zugehörige Punktsuchverarbeitung (Bewegungsvektorfeststellverarbeitung) unter den Bildern ausgeführt. Nach Abschluß der zugehörigen Punktsuchverarbeitung schreitet der Ablauf fort zu Schritt S373, um die Interpolationsverarbeitung von Bildern zwischen Sehpunkten auszuführen, womit Multisehpunktbilder mit hinreichend feinen Sehpunktintervallen gewonnen werden.
Fig. 38 ist ein Ablaufdiagramm, das die zugehörige Suchpunktverarbeitung in Schritt S372 darstellt.
In Schritt S381 wird das erste Raster eines jeden Bildes ursprünglich als Gegenstandsraster eingestellt. In Schritt S382 werden die Gegenstandsraster der jeweiligen Bilder ausgelesen auf einen Arbeitsspeicher zum virtuellen Bilden einer j-ten epipolaren Ebene. Die j-te epipolare Ebene wird eingestellt aus Punkten EPj(x, i) auf einer Bildebene, wie in Fig. 4 gezeigt, womit der Beziehung genügt wird:
EPj(x, i) = Ni(x, j)
Wobei Ni(x, j) einen x-ten Pixelwert auf einer j-ten Linie eines i-ten Bildes (i = 1 bis 4 in diesem Ausführungsbeispiel) darstellt, das heißt, der Wert eines Pixels, dessen Koordinaten ausgedrückt sind durch (x, j) im i-ten Bild. Wenn die Eingabeeinrichtungen (Kameras) parallel zueinander angeordnet werden zu gleichen Intervallen, sind alle zugehörigen Punkte auf dem epipolaren ebenen Bild zu geraden Linien ausgerichtet. Eine Bildinterpolation kann folglich auf den geraden Linien ausgeführt werden. Gerade Linien, auf denen zugehörige Punkte vorhanden sind, werden in Schritt S383 ausgelesen. In Schritt S384 werden die zugehörigen Punkte aus den ausgelesenen geraden Linien errechnet, und die errechneten Punkte werden gespeichert. Die obige Verarbeitung wird wiederholt für alle Raster in den Schritten S385 und S386. Fig. 39 zeigt den detaillierten Algorithmus der zugehörigen Punktfeststellung auf dem j-ten EPI.

(Schritt A0)

Ein Raster r = 1 wird als Gegenstandsraster eingesetzt und erhält ein Prioritätsniveau n = 1.

(Schritt A1)

Das Gegenstandspixel wird dargestellt durch EPj(x ,r), und alle "m", die der nachstehenden Formel innerhalb des Bereichs von m = 0 bis k1 genügen, werden errechnet:
Ej(x, r) = {EPj(x +m · (i - r), i) - EPj(x, r)}² < TH2
für r = 1. TH2 ist ein Schwellwert zum Herausfinden der zugehörigen Punkte und wird eingesetzt gemäß dem zulässigen Fehlerbetrag zwischen zugehörigen Pixeln. In diesem Ausführungsbeispiel wird TH2 = 1200 (= 3 · 20 · 20) eingesetzt. Andererseits ist k1 ein Wert, der durch das Kameraintervall bestimmt ist und durch die Entfernung zu einem Gegenstand, und wird eingestellt auf 20 (das heißt, es wird angenommen, daß eine Verschiebung, die 20 Pixel überschreitet, nicht erfolgt) in diesem Ausführungsbeispiel.

(Schritt A2)

Schritt A1 wird wiederholt für alle "x" innerhalb eines Bereichs von x = 1 bis nx, und alle Werte m gemäß den Werten x werden gehalten.
Angemerkt sei, daß nx die Anzahl von Pixeln ist, die in Hauptabtastrichtung eines Bildes liegen. Wenn EPj(x + m · (i - r), i) vorhanden ist, wird bestimmt, daß es keinen zugehörigen Punkt für dieses m gibt, und die Verarbeitung wird fortgesetzt.

(Schritt A3)

Ein zugehöriger Punkt mit dem Prioritätsniveau 1 wird gewonnen aus der geraden Linie mit der Neigung m, gewonnen in den Schritten A1 und A2, und wird gespeichert im Speicher. Wenn eine Vielzahl zugehöriger Punkte gewonnen ist, werden alle Punkte als zugehörige Punkte mit dem Prioritätsniveau 1 aus Gründen der Vereinfachung gespeichert. Pixel, die gemäß Punkten gewonnen werden, werden als verarbeitete Pixel behandelt.

(Schritt A4)

Ein Zyklus von Schritten A1, A2 und A3 wird für nichtverarbeitete Pixel wiederholt. Wenn EPj(x + m · (i - r), i) bereits in Schritt A1 verarbeitet worden ist, wird EPj(x + m · (i - r), i) - EPj(x, r) = 0 eingesetzt, und die Verarbeitung geht weiter. Wenn der zugehörige Punkte, errechnet auf der Grundlage der geraden Linie mit der Neigung n in Schritt A3 bereits verarbeitet worden ist, wird dieser Punkt aus den zugehörigen Punkten ausgeschlossen. Zugehörige Punkte, gewonnen im n-ten Zyklus, werden als jene mit dem Prioritätsniveau n gespeichert.

(Schritt A5)

Wenn die Anzahl nichtverarbeiteter Pixel aufhört zu sinken, selbst nach Verarbeitung in Schritt A4, wird r = 2 eingesetzt, und das Gegenstandspixel wird dargestellt durch EPj(x, r), und dieselbe Verarbeitung wie in den Schritten A1 bis A4 wird ausgeführt. Angemerkt sei, daß x = 1 bis nx ist.

(Schritt A6)

Wenn die Anzahl nichtverarbeiteter Pixel aufhört zu sinken, selbst nach der Verarbeitung in Schritt A5, wird r = 3 eingesetzt, und das Gegenstandspixel wird dargestellt durch EPj(x, r), und dieselbe Verarbeitung wie in den Schritten A1 bis A4 wird ausgeführt. Angemerkt sei, daß x = 1 bis nx ist. Auch wird dieselbe Verarbeitung ausgeführt für r = 4.

(Schritt A7)

Der Wert j wird um Eins inkrementiert, und der Ablauf kehrt zurück zu Schritt A1. Genauer gesagt, die Verarbeitung beginnend mit Schritt A1 wird für die nächste Rasterlinie wiederholt.

(Schritt A8)

Wenn die Verarbeitung bis zum letzten Raster hin abgeschlossen ist, endet die zugehörige Punktsuchverarbeitung.
Mit der zuvor beschriebenen Verarbeitung können Punkte, die aus zwei Bildern nicht gewonnen werden können, erreicht werden, und eine Verdeckung oder dergleichen kann auch berücksichtigt werden, womit die Genauigkeit der zugehörigen Punktsuchverarbeitung verbessert ist.
Nach Abschluß der Verarbeitung in Schritt S372 schreitet der Ablauf fort zu Schritt S373, um die Bildinterpolationsverarbeitung durchzuführen. Die Bildinterpolationsverarbeitung wird ausgeführt unter Verwendung zugehöriger Punkte, die im Schritt S372 errechnet wurden. Der detaillierte Algorithmus ist nachstehend unter Bezug auf Fig. 40 als ein Beispiel beschrieben.
Fig. 40 zeigt die j-te epipolare Ebene. a1 und b1 stellen die zugehörigen Punkte mit dem Prioritätsniveau 1 dar, und c2 stellt die zugehörigen Punkte mit dem Prioritätsniveau 2 dar. Ein Fall wird nun nachstehend untersucht, bei dem n Bilder interpoliert werden zu gleichen Intervallen zwischen eingegebenen Bildern. Zur Vereinfachung wird n = 2 angenommen. Wenn eine derartige Interpolation bezüglich der j-ten epipolaren Ebene ausgeführt wird, wie in Fig. 41 gezeigt, erfolgt die Interpolation zweier Linie zwischen jeder der beiden benachbarten Linien von der epipolaren Ebene, und die Pixelwerte der interpolierten Linien, die auf den geraden Linien vorhanden sind, verbinden die zugehörigen Punkte auf der ursprünglichen epipolaren Ebene und können als Durchschnittswert der zugehörigen Punkt behandelt werden. Genauer gesagt, der Algorithmus ist in Fig. 43 gezeigt.

(Schritt B0)

j = 1 wird eingesetzt, das heißt, das j-te EPI wird als Gegenstands-EPI eingesetzt.

(Schritt B1)

Eine gerade Linie, die die zugehörigen Punkte mit dem Prioritätsniveau 1 auf dem j-ten EPI verbindet, wird angenommen, und die Pixelwerte der interpolierten Linien, die auf dieser geraden Linie liegen, werden als Durchschnittswert von Pixelwerten auf den Originalbildern eingesetzt, die auf der geraden Linie liegen. Wenn der zugehörige Punkt a1 in Fig. 41 als Beispiel herangezogen wird, erfolgt das Einsetzen des Pixelwertes von a auf der geraden Linie, die den zugehörigen Punkt verbindet, auf einem Durchschnittswert des Pixelwertes vom Punkt a1.
Hinsichtlich eines Kreuzungspunktes auf geraden Linien, die die zugehörigen Punkte verbinden und dieselben Prioritätsniveaus haben, wird der Punkt auf der Grundlage einer Linie interpoliert, die die geringste Steigung aufweist.

(Schritt B1)

Nach Abschluß der Verarbeitung für den zugehörigen Punkt mit dem Prioritätsniveau 1 wird die Verarbeitung für zugehörige Punkte mit dem Prioritätsniveau 2 ausgeführt. Die Verarbeitung ist grundsätzlich dieselbe wie die in Schritt B1. Pixel, die bereits interpoliert sind in Schritt B1, werden jedoch nicht verarbeitet. Diese Verarbeitung ist nachstehend anhand Fig. 41 beschrieben. Pixel (3, 8) und (2, 9) werden normalerweise interpoliert durch die zugehörigen Punkte c2. Da jedoch diese Punkte bereits interpoliert sind durch die zugehörigen Punkte al. mit dem Prioritätsniveau 1, erfolgt keine Verarbeitung für die Pixel (3, 8) und (2, 9). Durch die zugehörigen Punkte b2 interpolierte Pixel sind folglich 4 Pixel (5, 2), (4, 3), (4, 5) und (3, 6). Im in Fig. 41 gezeigten Beispiel tritt an diesem Abschnitt eine Verdeckung auf. Die obige Verarbeitung kann jedoch das Problem der Verdeckung lösen.

(Schritt B3)

Nach Abschluß der Verarbeitung für die zugehörigen Punkte mit dem Prioritätsniveau 2 wird die Verarbeitung für zugehörige Punkte mit dem Prioritätsniveau 3 ausgeführt. Wie in Schritt B2 werden bereits interpolierte Pixel nicht verarbeitet.
Gleichermaßen wird die Verarbeitung ausgeführt bis zu den zugehörigen Punkten mit dem letzten Prioritätsniveau.

(Sehritt B4).

Pixel, die nach der Verarbeitung in den Schritten B1 bis B3 nicht interpoliert werden, erfahren eine Interpolation auf der Grundlage umgebener Pixel. Als ein in diesem Falle zu verwendendes Verfahren ist ein Verfahren direkten Verwendens des Wertes eines Pixels verfügbar, der am nächsten an dem Gegenstandspixel liegt.

(Schritt B5)

Die Verarbeitung in den Schritten B1 bis B4 wird für j = 1 bis ny ausgeführt, und interpolierte Bilder werden gewonnen unter Verwendung von j2, j3, j5, j6, j8 und j9. Angemerkt sei, daß die durch die obige Verarbeitung in den Schritten B1 bis B4 interpolierten Linien dargestellt sind durch j2, j3, j5, j6, j8 und j9, wie in Fig. 41 gezeigt. Beispielsweise kann ein interpoliertes Bild 2 aufgebaut sein durch Juxtapositionieren interpolierter Linien j2 (j = 1 bis ny) (siehe Fig. 42). Dasselbe gilt für die interpolierten Bilder 3, 5, 6, 8 und 9.
Da die interpolierten Bilder erzeugt werden auf der Grundlage von Bildern in der Bilddatenbank 2603, wie schon zuvor beschrieben, kann ein Bild aus einem anderen Sehpunkt als den Photographiersehpunkten auf der geraden Linie, einschließlich der Sehpunktanordnung, gewonnen werden. Ein Bild aus einem beliebigen Sehpunkt läßt sich somit erzeugen. Die Bilddatenbank 2603 muß folglich nicht Multisehpunktbilder mit hinreichend feinen Sehpunktintervallen speichern, und die Speicherkapazität der Bilddatenbank 2603 kann weitestgehend reduziert werden.
Ist die Interpolationsverarbeitung nach einem der Verfahren vom ersten bis vierten Ausführungsbeispiel ausgeführt, können klare interpolierte Bilder gewonnen werden.

[Sechstes Ausführungsbeispiel]

Im Beispiel zum allgemeinen Stand der Technik und zum fünften Ausführungsbeispiel muß die Bildparameterhalteeinheit 2606 den Wert eines groben Abstands für den Gegenstandspunkt (oder den Scharfeinstellpunkt) auf dem photographierten Gegenstand als Entfernung Td halten, um den Verzerrungsgrad in der Verzerrungskorrektureinheit 3102 zu errechnen. Dieses Ausführungsbeispiel entwickelt das Bildverarbeitungsgerät vom fünften Ausführungsbeispiel, und ein Bildverarbeitungsgerät, das automatisch den Wert vom Grad der Verzerrung in der Verzerrungskorrektureinheit 3102 herausfinden kann, ist nachstehend erläutert. Die Anordnung des Bildverarbeitungsgerätes von diesem Ausführungsbeispiel ist im wesentlichen dieselbe wie die in Fig. 36 gezeigte.
In diesem Ausführungsbeispiel findet die Verzerrungskorrektureinheit 3102 automatisch den Verzerrungsgrad in Zusammenarbeit mit der Interpolationsverarbeitungsschaltung 2617 heraus. Die Interpolationskorrektureinheit 2617 liefert an die Verzerrungskorrektureinheit 3102 die Neigung m der geraden Linie, ausgelesen bei der Geradelinienfeststellverarbeitung (Schritt S783 in Fig. 38) in der zugehörigen Punktsuchverarbeitung (Schritt S372 in Fig. 37). Die Verzerrungskorrektureinheit 3102 errechnet auf der Grundlage der Neigung m der geraden Linie den Abstand Tdi von der Kamera zum festgestellten zugehörigen Punkt (Fleck auf einem Gegenstand) unter Verwendung der nachstehenden Formel (21):
Tdi = W·A/(2·m·tan(θ/2)) ... (21)
wobei W die Breite (in Einheiten von Pixeln) eines Bildes ist und θ der Feldwinkel der Kamera, die gehalten werden in der Bildparameterhalteeinheit 2606. Darüber hinaus ist A das Sehpunktintervall von Bildern, die in der Datenbank 2603 gespeichert sind, welches Intervall in der Sehpunktanordnungshalteeinheit 2605 gehalten wird.
Formel (21) ist aus Fig. 44 ersichtlich. Ein Fall ist nachstehend erläutert, bei dem ein einzelner Gegenstand 131 aus zwei Sehpunkten 133 und 134 auf einer geraden Sehpunktanordnungslinie 132 gesehen wird, die getrennt sind durch die Entfernung A. Die Beziehung zwischen dem Feldwinkel θ, der Brennweite F, einer Pixelgröße S und der Weite W eines Winkels wird angegeben mit:
S·W/2 = F·tan(θ/2)
Die Neigung m der festgestellten geraden Linie ist andererseits ein Wert, der den Abweichungsumfang zwischen zugehörigen Gegenstandspunkten auf zwei benachbarten Bildern durch die Anzahl von Pixeln angibt. Folglich stellt Fig. 44 auch bereit:
Tdi/A = F/(m·S(großer Buchstabe))
Wie sich aus diesen beiden Beziehungen ergibt, wird die Formel (21) eingerichtet.
Die Verzerrungskorrektureinheit 3102 errechnet dann einen Grad k1 der Verzerrung eines jeden zugehörigen Punktes unter Verwendung von der nachstehenden Formel (22) auf der Grundlage der Formel (20):
Ki = Tdi/(Tdi - z) ... (22)
Anstelle der Formel (20) wird ein Durchschnittswert vom Wert ki aller zugehörigen Punkte in einem Bild geschätzt und errechnet als ein Grad k an Verzerrung.
Mit der oben beschriebenen Verarbeitung in diesem Ausführungsbeispiel muß der Abstand zwischen der Kamera und dem Gegenstand nicht im voraus ermittelt werden, womit eine einzigartige Wirkung für dieses Ausführungsbeispiel bereitgestellt ist.
Als Rechenverfahren des geschätzten Grades k an Verzerrung wird ein Verfahren zum Ausführen der zuvor genannten Berechnung nach einem Durchschnittswert der Neigungen m errechnet, ein Verfahren des Ausführens der Rechnung, nachdem ein Bild in Einheiten von Zonen gewichtet ist, um einen Gegenstand als Mitte zu schätzen, und dergleichen ist verfügbar zusätzlich zu dem zuvor beschriebenen Verfahren.
In jedem der obigen Ausführungsbeispiele werden Multisehpunktbilder, die im voraus photographiert wurden, in der Bilddatenbank 2603 gehalten. Wenn die Bilddatenbank ersetzt wird durch eine Multifernsehkamera, die Multisehpunktbilder in Echtzeit aufnehmen kann, läßt sich ein beliebiges Sehpunktbildphotographier-/Anzeigesystem in Echtzeit realisieren.
Angemerkt sei, daß die vorliegende Erfindung anwendbar ist bei einem Bildverarbeitungsgerät der alleinstehenden Art, bei einem System, wie einem Multisehpunktfernsehsystem, einem Multisehpunktvideofernsprechendgerät, einem Multisehpunktvideokonferenzsystem und dergleichen oder bei einem zusammengesetzten Gerät als Kombination aus einem Computer und einem anderen Bildverarbeitungsgerät.
Da das Bildverarbeitungsgerät eines jeden der obigen Ausführungsbeispiele die Position des Auges eines Betrachters feststellt und ein Bild rekonstruiert, das auf der Grundlage einer Vielzahl von Bildern vom Betrachter gesehen werden kann, kann dieses stufenlos ausgegeben werden, nicht nur zur Bewegung nach rechts und nach links, sondern auch zur Bewegung nach hinten und nach vorn vom Sehpunkt des Betrachters.
Als Multisehpunktbilddaten, die eine Vielzahl von Bildern mit unterschiedlichen Sehpunktpositionen einschließen, kann eine große Anzahl von aus wenigstens einer Kamera gewonnenen Bildern und eine große Anzahl von in einer Datenbank gespeicherten Bildern zur Anwendung kommen. Um ein Bild zu rekonstruieren, enthalten die Sehpunktbilddaten vorzugsweise Bilder, deren Photographierpositionen gewechselt sind zu hinreichend feinen Intervallen. Selbst wenn die Multisehpunktbilddaten Bilder enthalten, deren photographische Positionsintervalle grob sind, kann ein Bild mit einer gewünschten Position zwischen zwei benachbarten photographischen Positionen als eine Sehpunktposition erzeugt werden durch Interpolieren photographischer Bilder, und ein Bild läßt sich rekonstruieren unter Verwendung der photographierten Bilder und erzeugten Bilder als Multisehpunktbilddaten.
Ein Bild wird des weiteren rekonstruiert in der Weise, daß Parameter, erforderlich für die Rekonstruktion eines Bildes, errechnet werden auf der Grundlage der Augenposition eines Betrachters und der Art eines Bildausgabegerätes gemäß Pixeln zwischen einem zu rekonstruierenden Bild und Multisehpunktbildern, die errechnet werden auf der Grundlage der errechneten Parameter, und die zugehörigen Pixel werden aus den Multisehpunktbildern ausgelesen. Selbst wenn die Augenposition in diesem Falle vom Betrachter nicht zu einer beliebigen der Sehpunktpositionen von photographierten Bildern paßt, können zugehörige Pixel errechnet werden, und von daher kann ein Bild in befriedigender Weise rekonstruiert werden.
Als ein Bildausgabegerät kann eine stereoskopische Anzeige, eine linsenförmige Anzeige und dergleichen zusätzlich zu einer normalen Anzeige verwendet werden.
Wie zuvor beschrieben, stellt das Bildverarbeitungsverfahren und -gerät gemäß den Ausführungsbeispielen eine Wirkung der Anzeige eines Bildes gemäß der Verschiebung der Augenposition eines Betrachters in Richtungen bereit, die auch die Richtung nach hinten und nach vorne enthalten.
Die vorliegende Erfindung ist nicht auf die obigen Ausführungsbeispiele beschränkt, und verschiedene Änderungen und Abwandlungen sind möglich.

Claims

1. Bildverarbeitungsverfahren mit den Verfahrensschritten:

Verarbeiten von Pixeldaten, die eine Vielzahl von (N) zweidimensionalen eingegebenen Bildern einer bei (N) unterschiedlichen Sehpunkten aufgezeichneten dreidimensionalen Szene festlegen, um eine Vielzahl (y = 1, ..., ny) von epipolaren ebenen Bildern (EPg(x, i)) zu erzeugen, wobei jedes epipolare ebene Bild über Rasterzeilen (g) von Pixeln aus den eingegebenen Bildern verfügt, die relativ zueinander abhängig von jeweiligen Aufzeichnungssehpunkten positioniert sind (1 = 1, ..., N);

Feststellen (S2, S163, S372) von Pixeln in den zweidimensionalen eingegebenen Bildern, die denselben Teil der dreidimensionalen Szene darstellen, durch Nachweisen zugehöriger Pixel (a1, b1, c2, Fig. 6, 8), die in geraden Linien in den epipolaren ebenen Bildern ausgerichtet sind;

Einfügen (S3, S164, S373) einer oder mehrerer Zeilen von Pixeln (I2, I3, I5, I6, I8, I9, Fig. 8) in jedes epipolare ebene Bild zwischen Rasterzeilen von Pixeln in diesen, und Benennen (S52) eines jeden Pixels auf einer eingefügten Linie, die sich mit einer geraden Linie kreuzt, festgestellt im Feststellschritt über einen Wert auf der Grundlage der Werte von Pixeln auf der kreuzenden geraden Linie; und

Erzeugen (S5, S165) von Pixeldaten, die ein zweidimensionales Bild von der dreidimensionalen Szene aus einem Sehpunkt feststellen, der sich von demjenigen eines jeden eingegebenen Bildes auf der Grundlage der Pixelwerte unterscheidet, die den Pixeln auf den eingefügten Linien zugewiesen sind.

2. Verfahren nach Anspruch 1, mit den weiteren Verfahrensschritten:

Schätzen (S4, S72, B4) zugehöriger Pixel für Pixel aus eingefügten Rasterlinien, für die kein Wert vergeben ist; und

Zweites Erzeugen (S82) von Erzeugungswerten für Pixel auf eingefügten Rasterlinien, für die zuvor kein Wert vergeben ist, auf der Grundlage der im Schätzschritt geschätzten Entsprechungen.

3. Verfahren nach Anspruch 2, bei dem:

der Schätzschritt für jedes Pixel auf einer eingefügten Rasterlinie, für die kein Wert vergeben ist, Testlinien von Pixeln im epipolaren ebenen Bild enthält, das die Pixel passiert und eine Linie in Abhängigkeit von Werten von Pixeln auf jeder Linie auswählt; und wobei

der zweite Erzeugungsschritt das Einstellen des Wertes vom Pixel auf einen Durchschnittswert der Pixel auf der ausgewählten Linie umfaßt.

4. Verfahren nach Anspruch 3, bei dem der Schätzschritt Testliniensegmente enthält, die jeweils eine Länge einer vorbestimmten Anzahl von Pixeln und ein Pixel mit einem nicht zugeordneten Wert als Mitte haben, und Auswählen des Zeilenelements, das eine minimale Summe von Differenzen zwischen das Liniensegment bildenden Pixeln und dem Pixel mit dem nichtzugewiesenen Wert hat.

5. Verfahren nach einem der vorstehenden Ansprüche, bei dem der Schritt des Zuweisens eines Wertes zu einem Pixel, das sich an einer Stelle auf einer eingefügten Linie befindet, die sich mit einer geraden Linie kreuzt, die der Feststellschritt feststellt, das Zuordnen eines Durchschnittwertes der Pixel auf der festgestellten geraden Linie umfaßt.

6. Verfahren nach einem der vorstehenden Ansprüche, bei dem der Feststellschritt zum Feststellen zugehöriger Pixel, die einer geraden Linien zugeordnet sind, das Testen der Werte der Pixel auf der geraden Linie umfaßt, um zu bestimmen, ob die Werte vorbestimmten Differenzkriterien entsprechen.

7. Verfahren nach einem der vorstehenden Ansprüche, bei dem der Feststellschritt den Schritt des Speicherns von Pixeln gemeinsam mit Prioritätsniveaus gemäß einer festgestellten Reihenfolge der Pixel enthält, wenn zugehörige Pixel, ausgerichtet auf einer geraden Linie, festgestellt werden, und wobei im Schritt des Zuordnens von Werten zu Pixeln auf einer eingefügten Linie Werte in einer Reihenfolge von Pixeln mit geringen Prioritätsniveaus zugeordnet werden.

8. Verfahren nach einem der vorstehenden Ansprüche, das des weiteren einen Korrekturschritt zum Ausführen einer Korrekturverarbeitung von eingegebenen Bildern umfaßt, und wobei die epipolaren ebenen Bilder unter Verwendung von Rasterlinien von Pixeln aus den korrigierten Bildern erzeugt werden.

9. Verfahren nach einem der vorstehenden Ansprüche, das des weiteren einen Ausgabeschritt zum Ausgeben der erzeugten Pixeldaten für das zweidimensionale Bild umfaßt.

10. Verfahren nach einem der vorstehenden Ansprüche, das des weiteren über einen Sehpunktfeststellschritt zum Feststellen der Position eines Sehpunktes enthält, und wobei im Schritt des Einfügens von Linien von Pixeln in die epipolaren ebenen Bilder die Zeilen an Stellen in Abhängigkeit vom im Sehpunktfeststellschritt festgestellten Sehpunkt eingefügt werden.

11. Verfahren nach einem der vorstehenden Ansprüche, bei dem Pixeldaten erzeugt werden, die stereoskopische Bilder mit Sehpunktpositionen festlegen, die um einen Abstand gemäß einer binokularen Parallaxe versetzt sind.

12. Verfahren nach einem der vorstehenden Ansprüche, wobei der Feststellschritt das Auswählen eines Gegenstandspixels, Einstellen einer Punktzahl gemäß der Anzahl von Punkten entsprechend dem Gegenstandspixel und Ignorieren einer Entsprechung zwischen dem Gegenstandspixel und einem zugehörigen Pixel umfaßt, wenn die Punktzahl für das Gegenstandspixel geringer ist als die für das zugehörige Pixel eingestellte Punktzahl.

13. Verfahren nach Anspruch 12, bei dem die Punktzahl für ein Pixel niedriger als der Anstieg der Anzahl von zugehörigen Pixeln eingestellt wird.

14. Verfahren nach einem der vorstehenden Ansprüche, das des weiteren über einen Prädiktionsschritt zum Vorhersagen von Maximal- und Minimalwerten einer Neigung einer im Feststellschritt festzustellenden geraden Linie verfügt und wobei im Feststellschritt die Feststellverarbeitung beschränkt wird auf geraden Linien mit Neigungen innerhalb der vorhergesagten Werte.

15. Bildverarbeitungsgerät, gekennzeichnet durch:

ein Mittel zum Verarbeiten von Pixeldaten, die eine Vielzahl von (N) zweidimensionalen eingegebenen Bildern einer dreidimensionalen Szene festlegen, aufgezeichnet bei (N) unterschiedlichen Sehpunkten, um eine Vielzahl (I = 1, ..., ny) von epipolaren ebenen Bildern (EPg(x, l)) zu erzeugen, wobei jedes epipolare ebene Bild über zugehörige Rasterlinien (i) von Pixeln aus den eingegebenen Bildern verfügt, die relativ zueinander abhängig von jeweiligen Aufzeichnungssehpunkten positioniert sind (i = 1, ..., N);

ein Feststellmittel zum Feststellen von Pixeln in den zweidimensionalen eingegebenen Bildern, die denselben Teil der dreidimensionalen Szene darstellen, durch Nachweisen zugehöriger Pixel (a1, b1, c2, Fig. 6, 8), die zu geraden Linien in den epipolaren ebenen Bildern ausgerichtet sind;

ein Mittel zum Einfügen einer oder mehrerer Linien von Pixeln (I2, I3, I5, I6, I8, I9, Fig. 8) in jedes epipolare ebene Bild zwischen Rasterlinien von Pixeln in diesen;

ein Pixelwertzuweisungsmittel zum Zuweisen eines jeden Pixels auf einer eingefügten Linie, die sich mit einer geraden Linie kreuzt, festgestellt vom Feststellmittel über einen Wert auf der Grundlage der Werte von Pixeln auf der kreuzenden geraden Linie; und durch

ein Bilddatenerzeugungsmittel zum Erzeugen von Pixeldaten, die ein zweidimensionales Bild von der dreidimensionalen Szene aus einem Sehpunkt feststellen, der sich von demjenigen eines jeden eingegebenen Bildes auf der Grundlage der Pixelwerte unterscheidet, die den Pixeln auf den eingefügten Linien zugewiesen sind.

16. Gerät nach Anspruch 15, das des weiteren ausgestattet ist mit:

einem Schätzmittel zum Schätzen zugehöriger Pixel für Pixel auf eingefügten Rasterlinien, für die kein Wert zugeordnet ist; und mit

einem Mittel zum Erzeugen von Werten für Pixel auf eingefügten Rasterlinien, für die zuvor kein Wert auf der Grundlage zugehöriger Schätzung vom Schätzungsmittel zugewiesen ist.

17. Gerät nach Anspruch 16, bei dem:

das Schätzmittel eingerichtet ist zum Schätzen zugehöriger Pixel für jedes Pixel auf einer eingefügten Rasterlinie, für die kein Wert zugeordnet ist, durch Testen von Linien von Pixeln im epipolaren ebenen Bild, das die Pixel durchläuft, und Auswählen einer Linie in Abhängigkeit von den Werten von Pixeln einer jeden Linie; und wobei

das Mittel zum Erzeugen von Werten für Pixel auf eingefügten Rasterlinien, für die zuvor kein Wert benannt wurde, ein Mittel zum Einstellen des Wertes von Pixeln auf einen Durchschnittswert der Pixel auf der ausgewählten Linie umfaßt.

18. Gerät nach Anspruch 17, bei dem das Schätzmittel eingerichtet ist, Liniensegmente zu testen, die jeweils eine Länge einer vorbestimmten Anzahl von Pixeln haben und ein Pixel mit einem nichtzugewiesenen Wert als Mitte haben, und zur Auswahl des Liniensegments, das eine Minimalsumme von Differenzen zwischen Pixeln hat, die das Zeilensegment und das Pixel mit dem nichtzugewiesenen Wert bilden.

19. Gerät nach einem der Ansprüche 15 bis 18, bei dem das Pixelwertzuweisungsmittel über ein Mittel zum Zuweisen eines Durchschnittswertes der Pixel auf der festgestellten geraden Linie hat.

20. Gerät nach einem der Ansprüche 15 bis 19, bei dem das Feststellmittel eingerichtet ist, die Werte von Pixeln zu testen, die auf einer geraden Linie liegen, um zu bestimmen, ob die Werte vorbestimmten Differenzkriterien entsprechen.

21. Gerät nach einem der Ansprüche 15 bis 20, bei dem das Feststellmittel eingerichtet ist, Pixel gemeinsam mit Prioritätsniveaus gemäß einer Feststellreihenfolge von Pixeln zu speichern, wenn in einer geraden Linie angeordnete zugehörige Pixel festgestellt sind, und wobei das Pixelwertzuweisungsmittel eingerichtet ist, Werte in einer Reihenfolge von Pixeln mit niedrigem Prioritätsniveau zuzuweisen.

22. Gerät nach einem der Ansprüche 15 bis 21, das des weiteren über ein Mittel zum Ausführen einer Korrekturverarbeitung der eingegebenen Bilder verfügt, und wobei das Erzeugungsmittel für epipolare ebene Bilder eingerichtet ist, jedes epipolare ebene Bild unter Verwendung von Rasterlinien von Pixeln aus den korrigierten Bildern zu erzeugen.

23. Gerät nach einem der Ansprüche 15 bis 22, das des weiteren über ein Ausgabemittel verfügt, das die erzeugten Pixeldaten für das zweidimensionale Bild abgibt.

24. Gerät nach einem der Ansprüche 15 bis 23, das des weiteren über ein Sehpunktfeststellmittel verfügt, das die Position eines Sehpunktes festustellt, und wobei das Mittel zum Einfügen von Linien von Pixeln in den epipolaren ebenen Bildern eingerichtet ist zum Einfügen von Linien an Stellen in Abhängigkeit vom vom Sehpunktfeststellmittel festgestellten Sehpunkt.

25. Gerät nach einem der Ansprüche 15 bis 24, bei dem das Mittel zum Einfügen von Linien von Pixeln in die epipolaren ebenen Bilder und das Bilddatenerzeugungsmittel eingerichtet sind zum Erzeugen von Daten, die stereoskopische Bilder festlegen, die Sehpunktpositionen haben, die um einen Abstand gemäß einer binokularen Parallaxe versetzt sind.

26. Gerät nach einem der Ansprüche 15 bis 25, bei dem das Feststellmittel eingerichtet ist, ein Gegenstandspixels auszuwählen, einen Punktwert gemäß der Anzahl von Pixeln gemäß dem Gegenstandspixel einzustellen und eine Entsprechung zwischen dem Gegenstandspixel und einem zugehörigen Pixel zu ignorieren, wenn der Punktwert für das Gegenstandspixel geringer ist als der für das zugehörige Pixel eingesetzte Punktwert.

27. Gerät nach Anspruch 26, bei dem das Feststellmittel eingerichtet ist, die Punktzahl für ein Pixel niedriger als den Anstieg der Anzahl von zugehörigen Pixeln einzustellen.

28. Gerät nach einem der Ansprüche 15 bis 27, das des weiteren über ein Prädiktionsmittel verfügt, um Maximal- und Minimalwerte einer Neigung einer geraden Linie vorherzusagen, die vom Feststellmittel festzustellen sind, und wobei das Feststellmittel eingerichtet ist, die Feststellverarbeitung auf gerade Linien mit Neigungen innerhalb der vorhergesagten Werte zu beschränken.

29. Computerprogrammprodukt mit Befehlen, um ein programmierbares Verarbeitungsgerät zu veranlassen, betriebsbereit zu sein, ein Verfahren auszuführen, wie es in wenigstens einem der Ansprüche 1 bis 14 angegeben ist.