DE69717733T2

DE69717733T2 - Kamera für dreidimensionale Bildaufnahme

Info

Publication number: DE69717733T2
Application number: DE69717733T
Authority: DE
Inventors: Shuji Ono
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Corp
Priority date: 1996-07-22
Filing date: 1997-07-21
Publication date: 2003-05-28
Anticipated expiration: 2017-07-22
Also published as: DE69717733D1; EP0821532A1; JP3753201B2; EP0821532B1; US6233003B1; JPH1042314A

Description

HINTERGRUND DER ERFINDUNG

Gebiet der Erfindung

Die Erfindung betrifft eine Parallaxenbild-Eingabevorrichtung. Speziell betrifft die Erfindung eine neue Vorrichtung zum Erfassen einer Mehrzahl von mit Parallaxen behafteten Bildern.

Beschreibung des Standes der Technik

Methoden zum Erfassen der Information über die Tiefenrichtung eines Objekts durch Einsatz von Parallaxenbildern und Wiederherstellen der Information gehören zu dem Gebiet der "computer vision" oder des "Bildverständnisses" auf dem Forschungsgebiet der Bildverarbeitung. Diese Methoden werden als bedeutsam zum Realisieren von künstlichen Betrachtungsfunktionen angesehen.
Zum Eingeben von Parallaxenbildern wurden bislang unterschiedliche Methoden mit Einsatz zweier Kameras vorgeschlagen, wobei die Kameras derart angeordnet sind, daß dadurch das zweiäugige Sehen des Menschen simuliert wird. Derartige Methoden sind zum Beispiel beschrieben in "Computer Vision" von Koichiro Deguchi, Maruzen, Seiten 83- 88 und "Image Processing Handbook" von Morio Ogami, Shokodo, Seiten 395-397. Außerdem wurden Methoden vorgeschlagen, die drei oder noch mehr Kameras verwenden. Die Methoden mit drei oder noch mehr Kameras sind zum Beispiel beschrieben in "Object Detection Using Multiview Stereo Images" von Omori und Morishita, SICE collected papers, Vol. 18, 7, Seiten 716-722, Juli 1982; "Recognition of Three-Dimensional Object Using Multiple Images" von Masahiko Taniuchida, Nikkei Mechanical, Vol. 157, Seiten 82-91, Januar 1984; "Stereo Vision Corresponding Points Processing with Trinocular Images" von Itoh und Ishii, 29th national meeting of Information Processing Society of Japan, 2M-3, September 1984" und "Trinocular Vision Stereo" von Ota und Ikeda, ibid., 2M-4. Diese Methoden werden als stereokopische Verbundaugenmethoden bezeichnet.
Allerdings haben die oben erwähnten vorgeschlagenen Methoden die praktischen Nachteile, daß die Vorrichtungen nicht mit kleiner Baugröße und geringen Kosten hergestellt werden können, und daß komplizierte Justierarbeiten bezüglich der Richtung jeder Kamera, des Fokussierpunkts jeder Kamera und anderer Faktoren erforderlich sind.
Außerdem wurden als andere Verfahren zur Eingabe von Parallaxenbildern Verfahren zum sukzessiven Bewegen einer einzelnen Kamera und dabei erfolgender Aufnahme von Parallaxenbildern vorgeschlagen. Diese Verfahren sind zum Beispiel beschrieben in: "Determining Three-Dimensional Structure From Image Sequences given by Horizontal and Vertical Moving Camera" von Yamamoto, collected papers of The Institute of Electronics and Communication Engineers of Japan, Vol. J69-D, Nr. 11, 1631; "Depth measurement by motion stereo" von R. Nevatia, Comput. Graphics Image Process., Vol. 9, Seiten 23-214, 1976; "Depth from camera motion in real world scene" von T. D. Williams, IEEE Trans. Pattern Anal. Mach. Intell., PAMI-2, Seiten 511-516, 1980. Mit Hilfe dieser vorgeschlagenen Methoden werden Parallaxenbilder als zeitlich serielle, kontinuierliche Bilder gewonnen. Die vorgeschlagenen Methoden werden auch als stereoskopische Bewegungsmethoden bezeichnet. Mit den stereoskopischen Bewegungsmethoden lassen sich Parallaxenbilder erhalten, die aus einer deutlich größeren Anzahl von Blickwinkeln gesehen werden als solche, die mit- der oben erwähnten stereoskopischen Verbundaugenmethode gewonnen werden. Eine Mehrzahl von Parallaxenbildern, die mit hoher Dichte aufgenommen wurden, so daß sie möglicherweise nur eine schwache Parallaxe besitzen, werden als kontinuierliche Parallaxenbilder bezeichnet. Bei den stereoskopischen Bewegungsmethoden lassen sich, da man mit nur einer einzigen Kamera auskommt, Probleme mit Einstellarbeiten der Kameras zueinander, mit der Anpassung der Kamerastellungen und dergleichen, die bei den stereoskopischen Verbundaugenmethoden erforderlich sind, vermeiden.
Da allerdings bei den stereoskopischen Bewegungsmethoden die Kamera sukzessive in Positionen verlagert werden muß, die vorab festgelegt wurden, muß man einen umfangreichen Verlagerungsmechanismus einsetzen. Im allgemeinen wird eine Spurstange, beispielsweise in Form einer Schiene, aufgebaut, oder es wird eine exakt bewegte Bühne vorgesehen. Außerdem wird zum Verlagern der Kamera eine Antriebsvorrichtung eingesetzt. Damit erfordern die stereoskopischen Bewegungsmethoden komplizierte Mechanismen und können daher in der Praxis nicht umgesetzt werden.
Ein weiteres Beispiel für eine Parallaxenbild-Eingabevorichtung findet sich in der EP-A- 0 645 659.

OFFENBARUNG DER ERFINDUNG

Hauptziel der Erfindung ist die Schaffung einer Parallaxenbild-Eingabevorrichtung mit einfachem Aufbau, um Parallaxenbilder zu erhalten, die aus zahlreichen Blickwinkeln betrachtet sind, wobei die Parallaxenbilder bei der Erfassung und Wiederherstellung von Information verwendet werden, die eine Tiefenrichtung eines Objekts betreffen, um ein stereoskopisches Bildsignal zu rekonstruieren, welches die Tiefeninformation beinhaltet.
Die vorliegende Erfindung schafft eine Parallaxenbild-Eingabevorrichtung zum Erfassen mehrerer Bilder, die aus unterschiedlichen Blickwinkeln gesehen werden, wie es durch den Anspruch 1 definiert ist.
Die Abbildungseinrichtung kann mehrere Bildelemente enthalten, von denen jedes eine Abbildungsebene besitzt, die einer der kleinen Zonen entspricht.
Auch in diesen Fällen kann die Bilderzeugungselementengruppe ein Linsenfeld enthalten, welches Brechkraft in zweidimensionale Richtungen besitzt. Alternativ kann die Bilderzeugungselementengruppe ein zylindrisches Linsenfeld sein, welches Brechkraft in nur einer eindimensionalen Richtung besitzt.
Darüber hinaus kann die Abbildungseinrichtung gleichzeitig mehrere Bildinformationsstücke abbilden, die durch unterschiedliche Stellen in der Bilderzeugungseinrichtung gelaufen sind.
Außerdem kann die Abbildungseinrichtung eine photoelektrische Umwandlungs- Abbildungseinrichtung sein (zum Beispiel ein CCD-Bildsensor), oder eine Abbildungseinrichtung, die auf einer photochemischen Reaktion beruht (zum Beispiel ein Silberhalogenid-Photofilm).
Im folgenden werden Effekte der Parallaxenbild-Eingabevorrichtung gemäß der Erfindung beschrieben.
Zunächst wird im folgenden das Prinzip beschrieben, nach dem kontinuierliche Parallaxenbilder erfaßt werden. Fig. 1 zeigt, wie Bilder von der Außenwelt auf einer Abbildungseinrichtung mit Hilfe eines eine einzelne Bilderzeugungslinse aufweisenden optischen Systems erzeugt werden. In Fig. 1 ist die Apertur, das heißt die auf dem Gebiet der Optik sogenannte Pupille, einer Bilderzeugungslinse 14 weit geöffnet. In diesen Fällen werden ein Bild 1a eines Objekts 1, ein Bild 2a eines Objekts 2 und ein Bild 3a eines Objekts 3 auf einer bildgebenden Einrichtung oder einer Abbildungseinrichtung 16 erzeugt. Von den drei Bildern 1a, 2a und 3a befindet sich allerdings nur das Bild 2a des Objekts 2 auf der Abbildungseinrichtung 16 im Brennpunkt, also das Bild des Objekts in der Brennebene D der Abbildungseinrichtung 16.
Die Lage des Objekts 1 ist von der Bilderzeugungslinse 14 weiter entfernt als die Brennebene D der Abbildungsebene 16. Deshalb wird ein scharfes Bild 1d des Objekts 1 an einer Stelle erzeugt, die näher bei der Bilderzeugungslinse 14 liegt als die Abbildungseinrichtung 16. Im Ergebnis ist das Bild 1a des Objekts 1 auf der Abbildungseinrichtung 16 in einem auseinandergezogenen Zustand und ist unscharf.
Die Lage des Objekts 3 ist der Bilderzeugungslinse 14 näher als die Fokussierebene D der Abbildungseinrichtung 16. Daher wird ein scharfes Bild 3d des Objekts 3 an einer Stelle gebildet, die von de Bilderzeugungslinse 14 weiter entfernt ist als die Abbildungseinrichtung 16. Im Ergebnis befindet sich das Bild 3a des Objekts 3, das auf der Abbildungseinrichtung 16 gebildet wird, im konvergierenden Zustand und ist unscharf.
Entsprechend der Fig. 1 zeigt die Fig. 2, wie Bilder der Außenwelt von einer Optik auf der Abbildungseinrichtung 16 erzeugt werden. In Fig. 2 ist die Pupille der Bilderzeugungslinse 14 auf lediglich den oberen Bereich der Bilderzeugungslinse 14 mit Hilfe einer Pupillen-Aperturpositions-Steuereinrichtung (einem Lichtverschluß) 15 beschränkt und ist deutlich kleiner als die Pupille der Bilderzeugungslinse 14 nach Fig. 1. In diesen Fällen wird wie in Fig. 1 das Bild 2a des Objekts 2, welches sich in der Brennebene D der Abbildungseinrichtung 16 befindet, im Fokus.
In Fig. 2 ist die Verschiebung des scharfen Bildes ld des Objekts 1 gegenüber der Abbildungseinrichtung 16 die gleiche wie in Fig. 1. Auch die Verschiebung des scharfen Bilds 3d des Objekts 3 gegenüber der Abbildungseinrichtung 16 ist die gleiche wie in Fig. 1. Wie allerdings in Fig. 2 dargestellt ist, ist das Unschärfemaß ebenso wie die Lage eines Bildes 1b des Objekts 1 auf der Abbildungseinrichtung 16 anders als bei dem Bild 1a des Objekts 1 in Fig. 1. Außerdem sind das Unschärfemaß und die Stelle des Bildes 3b des Objekts 3 auf der Abbildungseinrichtung 16 verschieden von dem Bild 3a des Objekts 3 nach Fig. 1. Das Bild 1b des Objekts 1 befindet sich im divergierenden Zustand auf der Abbildungseinrichtung 16 und ist unscharf, allerdings ist das Unschärfemaß des Bilds 1b deutlich geringer als das Unschärfemaß des Bilds 1a, welches bei einer vollständig geöffneten Pupille erhalten wird. Ein wichtiges Merkmal ist, daß das Bild 1b auf der Abbildungseinrichtung 16 sich an einer Stelle befindet, die einem unteren Bereich des Unschärfenbilds 1a entspricht, welches bei vollständig geöffneter Pupille erhalten wird. Dieses Phänomen tritt unvermeidlich in Erscheinung, da die Lage der Pupille auf den oberen Bereich der Bilderzeugungslinse 14 eingestellt ist, und da der Brennpunkt des Bildes 1b des Objekts 1 näher an der Bilderzeugungslinse 14 liegt als die Abbildungseinrichtung 16. Was das Objekt 3 angeht, so liegt ein entgegengesetztes Phänomen vor. Das Bild 3b des Objekts 3 befindet sich auf der Abbildungseinrichtung 16 im konvergierenden Zustand und ist unscharf, allerdings ist das Unschärfemaß des Bilds 3b deutlich geringer als das Unschärfemaß des Bilds 3a, welches bei vollständig geöffneter Pupille gewonnen wird. Außerdem befindet sich das Bild 3b der Abbildungseinrichtung 16 an einer Stelle, die einen oberen Bereich des unscharfen Bildes 3a entspricht, welches bei vollständig geöffneter Pupille erhalten wird. Dieses Phänomen tritt unvermeidlich in Erscheinung, da die Position der Pupille sich im oberen Bereich der Bilderzeugungslinse 14 befindet, und weil der Brennpunkt des Bildes 3b des Objekts 3 weiter von der Bilderzeugungslinse 14 entfernt ist als die Abbildungseinrichtung 16.
Fig. 3 zeigt den Zustand der Bilderzeugung, der dann vorliegt, wenn die Größe der Pupille der Bilderzeugungslinse 14 auf die gleiche Größe wie in Fig. 2 beschränkt ist und die Lage der Pupille von dem oberen Bereich der Bilderzeugungslinse 14 gemäß Fig. 2 verschoben ist zu einem unteren Bereich der Bilderzeugungslinse 14. In diesen Fällen sind die Unschärfemaße des Bildes 1c des Objekts 1, eines Bildes 2c des Objekts 2 und eines Bildes 3c des Objekts 3, die auf der Abbildungseinrichtung 16 erzeugt werden, die gleichen wie in Fig. 2. Allerdings ist die Lage des Bildes 1c des Objekts 1 auf der Abbildungseinrichtung 16 entgegengesetzt zu der Lage des Bildes 1b des Objekts 1 gemäß Fig. 2. Auch die Lage des Bildes 3c des Objekts 3 auf der Abbildungseinrichtung 16 ist entgegengesetzt zu der Lage des Bildes 3b des Objekts 3 gemäß Fig. 2. Insbesondere befindet sich das Bild 1c des Objekts 1 an einer Stelle, die einem oberen Bereich des unscharfen Bildes 1a entspricht, welches bei vollständig geöffneter Pupille erhalten wird. Auch das Bild 3c des Objekts 3 befindet sich an einer Stelle, die einem unteren Bereich des unscharfen Bildes 3a entspricht, welches bei vollständig geöffneter Pupille erhalten wird. Dieses Phänomen tritt unvermeidlich in Erscheinung aufgrund der Beziehung zwischen dem Brennpunkt und dem optischen Weg.
Zusammengefaßt: in den Fällen, in denen die Größe der Apertur der Pupille der Bilderzeugungslinse beschränkt ist und die Lage der Apertur der Pupille von dem oberen Bereich der Bilderzeugungslinse 14 zu deren unterem Bereich verschoben ist, werden die im folgenden beschriebenen Ergebnisse erzielt. Insbesondere für das Objekt 2, das derart gelegen ist, daß der Brennpunkt seines Bildes und die Stelle der Abbildungseinrichtung 16 miteinander übereinstimmen, führt zu keiner Änderung des Bildes. Was allerdings das Objekt 1 und das Objekt 3 angeht, so ändert sich die Lage des Objektbildes auf der Abbildungseinrichtung 16. Auch die Entfernung, über die sich die Lage des Bildes ändert und die Richtung, in der sich die Lage des Bildes ändert, bestimmen sich durch die Beziehung zwischen der Lage jedes der Objekte 1, 2 und 3 und die Lage der Brennebene.
Das oben erläuterte Phänomen wird im folgenden aus der Blickwinkel der Bilder betrachtet, die auf der Abbildungseinrichtung 14 erzeugt werden. In jedem der in den Fig. 1, 2 und 3 dargestellten Zustände empfängt die Abbildungseinrichtung 16 die Lichtmuster (empfangene Lichtbilder), wie es im folgenden beschrieben wird.
Speziell in dem in Fig. 1 gezeigten Zustand, in welchem die Pupille weit geöffnet ist, werden die in Fig. 4A gezeigten empfangenen Lichtbilder erhalten. In diesem Zustand sind das Bild 1a des Objekts 1 und das Bild 3a des Objekts 3 deutlich unscharf.
In dem Zustand nach Fig. 2, in welchem die Pupille im oberen Bereich der Bilderzeugungslinse 14 offen ist, werden die in Fig. 4B gezeigten empfangenen Lichtbilder erhalten. In diesem Zustand sind das Bild 1b des Objekts 1 und das Bild 3b des Objekts 3 etwas unscharf Auch die Lage des Bilds 1b verschiebt sich zu einer Seite des Unschärfebereichs des Bilds 1a hin, welches bei vollständig geöffneter Pupille erhalten wird. Die Lage des Bildes 3b verschiebt sich zur anderen Seite des Unschärfebereichs des Bildes 3a hin, welches bei vollständig geöffneter Pupille gewonnen wird.
Bei dem in Fig. 3 dargestellten Zustand, in welchem die Pupille im unteren Bereich der Bilderzeugungslinse 14 offen ist, erhält man die in Fig. 4C dargestellten empfangenen Lichtbilder. In diesem Zustand sind das Bild 1c des Objekts 1 und das Bild 3c des Objekts 3 etwas unscharf. Außerdem verschiebt sich die Stelle des Bildes 1c zu einer Seite des Unschärfebereichs des Bilds 1a hin, welches bei vollständig offener Pupille erhalten wird. Die Lage des Bildes 3c ist zu einer Seite des Unschärfebereichs des Bilds 3a hin verschoben, welches bei weit geöffneter Pupille erhalten wird. Außerdem ist die Richtung der Verschiebung der Lage des Bilds 1c entgegengesetzt zu der Richtung, in der die Stelle des Bilds 1b verschoben ist, wenn die Pupille im oberen Bereich der Bilderzeugungslinse 14 offen ist. Die Richtung, in der die Lage des Bilds 3c verschoben ist, ist der Richtung entgegengesetzt, in der die Lage des Bilds 3b verschoben ist, wenn die Pupille im oberen Bereich der Bilderzeugungslinse 14 offen ist.
Im folgenden soll qualitativ erläutert werden, wie die oben beschriebenen empfangenen Lichtbilder gewonnen werden.
Die empfangenen Lichtbilder gemäß Fig. 4B, die bei im oberen Bereich der Bilderzeugungslinse 14 geöffneter Pupille erhalten werden, werden ausschließlich von dem Licht gebildet, das durch die Pupille im oberen Bereich der Bilderzeugungslinse 14 gelangt. Insbesondere sind die empfangenen Lichtbilder, die in diesem Zustand erhalten werden, annähernd identisch mit den Bildern, die man erhält, wenn die drei Objekte aus der Lage der Pupille im oberen Bereich der Bilderzeugungslinse 14 gesehen werden.
Die in Fig. 4C dargestellten empfangenen Lichtbilder, die man erhält, wenn die Pupille im oberen Bereich der Bilderzeugungslinse 14 offen ist, werden ausschließlich von dem Licht erzeugt, welches durch die Pupille im unteren Bereich der Bilderzeugungslinse 14 gelangt. Insbesondere sind die in diesem Zustand erhaltenen empfangenen Bilder annähernd identisch mit den Bildern, die man erhält, wenn die drei Objekte aus der Stellung der Pupille im unteren Bereich der Bilderzeugungslinse 14 gesehen werden. Fig. 5 ist eine anschauliche Darstellung, die die so erzielten Effekte verdeutlicht.
Die empfangenen Lichtbilder, die in Fig. 4A gezeigt sind und bei über die gesamte Fläche der Bilderzeugungslinse 14 offener Pupille erhalten wurden, werden durch das Licht gebildet, das durch jeden Teil der Bilderzeugungslinse 14 hindurchgelangt. Insbesondere läßt sich sehen, daß die empfangenen Lichtbilder in diesem Zustand aus der Überlagerung sämtlicher Bilder resultieren, die erhalten werden, wenn die drei Objekte aus jeder Position in der Bilderzeugungslinse 14 betrachtet werden.
Wie oben beschrieben, sind in den Fällen, in denen die Bilder auf der Abbildungseinrichtung 16 dadurch erhalten werden, daß die Größe der Pupille der Bilderzeugungslinse 14 beschränkt und die Position der Pupille verschoben wird, annähernd identisch mit den Bildern, die man erhält, wenn die drei Objekte aus jeder Position der Pupille gesehen werden. Damit besitzen die so erhaltenen Bilder etwas voneinander verschiedene Parallaxen. Insbesondere fungiert die Gruppe der empfangenen Lichtbilder als Parallaxenbilder (kontinuierliche Parallaxenbilder), welche die Information beinhalten, die nützlich ist beim Detektieren und Wiedergewinnen der Information über die Tiefenrichtungen der Objekte. Die Parallaxenbild-Eingabevorrichtung gemäß der Erfindung arbeitet nach dem oben beschriebenen Prinzip.
Die auf dem oben beschriebenen Prinzip erhaltenen Prinzip kontinuierlichen Parallaxenbilder haben besondere Merkmale insofern, als die Position des Bildes des Objekts 2, welches sich in der Brennebene befindet, nicht verändert werden kann. Aufgrund dieser besonderen Merkmale gibt es auch dann, wenn nur eine kleine Anzahl von Probenbildern vorhanden ist, keinen Sprung in der Verschiebung des Objektbilds unter den kontinuierlichen Parallaxenbildern. Für Tiefenberechnungen können daher einfache Algorithmen verwendet werden. Damit die gleichen Effekte mit den oben beschriebenen stereoskopischen Bewegungsverfahren erhalten werden, müßte eine sehr genaue und komplizierte Steuerung der optischen Achse der Kamera vorgenommen werden. Mit der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung hingegen, bei der theoretisch nur eine geringe Änderung der Position des Bildes des in der Brennebene befindlichen Zielobjekts stattfindet, lassen sich die Effekte in einfacher Weise erzielen.
Als Hilfe bei der Verdeutlichung der Einfachheit der erfindungsgemäßen Parallaxenbild- Eingabevorrichtung sollen im folgenden die Elemente beschrieben werden, die zum Erzielen der vorerwähnten Effekte mit Hilfe stereoskopischer Bewegungsverfahren notwendig sind.
Bei den stereoskopischen Bewegungsverfahren wird eine Kamera verlagert, und dabei werden Parallaxenbilder aufgezeichnet. In diesen Fällen ist es notwendig, daß die optische Achse der Kamera gesteuert wird. Verfahren zum Steuern der optischen Achse der Kamera lassen sich in Verfahren einordnen, die in den Fig. 6A und 7A dargestellt sind. Bei dem in Fig. 6A dargestellten Verfahren wird die optische Achse einer Kamera 12 parallel verlagert. Bei dem in Fig. 7A dargestellten Verfahren wird die optische Achse der Kamera 12 so gesteuert, daß sie während der Versetzung der Kamera 12 immer auf denselben Punkt gerichtet ist. (Man kann erkennen, daß bei dem Steuerverfahren nach Fig. 6A die optische Achse der Kamera 12 auf einen Punkt im Unendlichen gerichtet ist, während die Kamera 12 verlagert wird.)
Das Verfahren nach Fig. 6A, bei dem die optische Achse der Kamera 12 parallel verschoben wird, hat den Vorteil, daß die Steuerung einfacher ist. Außerdem kommt es bei dem Parallelverschiebungsverfahren nach Fig. 6A zu einer starken Parallaxe für ein in der Nähe der Kamera 12 befindliches Objekt, wenn die Kamera 12 nur um ein kleines Stück verlagert wird, wie dies in Fig. 6B dargestellt ist, die die mit dem Verfahren nach Fig. 6A gewonnenen Bilder veranschaulicht. Wie oben beschrieben, besteht der Verdienst der kontinuierlichen Parallaxenbilder darin, daß bei der Verlagerung des Objektbilds kein Sprung aufgrund der Parallaxe zwischen den kontinuierlichen Parallaxenbildern entsteht. Dieser Vorteil ist eine wichtige Vorbedingung für die Vereinfachung des Algorithmus, mit dessen Hilfe die Tiefeninformation gewonnen wird. Damit also die Bedingung zur Vereinfachung des Algorithmus zur Wiedererlangung der Tiefeninformation erfüllt werden kann, das heißt, damit die Kontinuität unter den Parallaxenbildern auch dann erreichbar ist, wenn sich das Objekt in der Nähe der Kamera 12 befindet, muß eine Bildabtastung mit einer ausreichend hohen Dichte durchgeführt werden. Damit außerdem eine ausreichende Parallaxe für von der Kamera 12 entfernt befindliche Objekte erhalten wird, muß die Kamera 12 über eine große Strecke versetzt werden. Da also die Bildabtastung mit hoher Dichte und die Versetzung der Kamera 12 über eine große Strecke erfolgen muß, muß eine sehr große Anzahl von Bildern abgetastet werden. In diesen Fällen läßt sich die Anzahl von Bildsignalen ebenso wenig gering halten wie der Rechenaufwand. Die stereoskopische Bewegungsmethode, bei der die optische Achse der Kamera 12 parallel verlagert wird, hat also den Nachteil, daß eine sehr hohe Abtastdichte (eine sehr große Anzahl von Bildern) erforderlich ist.
Bei dem Verfahren nach Fig. 7A, bei dem die optische Achse der Kamera 12 gedreht wird, reicht es aus, daß eine kleine benötigte Anzahl von kontinuierlichen Parallaxenbildern in der Nähe des Zielobjekts erfaßt wird. Bei dem Verfahren nach Fig. 7A wird die Kamera 12 verlagert, während ihre Orientierung so gesteuert wird, daß ihre optische Achse immer auf denselben Punkt gerichtet ist. Aus diesem Grund hat das Verfahren nach Fig. 7A den Nachteil, daß ein umfangreicher Mechanismus erforderlich ist, um die Verlagerung der Kamera 12 zu steuern. Wie allerdings in Fig. 7B dargestellt ist, die die mit dem Verfahren nach Fig. 7A gewonnenen Bilder veranschaulicht, gibt es nur wenig Änderung in der Lage eines Bildes 2a eines Objekts, das sich im Mittelpunkt der Drehung der optischen Achse der Kamera 12 befindet, und die Änderungen erfolgen nur bezüglich der Lage des Bildes 1a eines Objekts 1, welches von der Kamera 12 weiter entfernt ist als der Dreh-Mittelpunkt der optischen Achse der Kamera 12, außerdem bei der Stellung eines Bildes 3a eines Objekts 3, welches sich näher bei der Kamera 12 befindet als der Drehmittelpunkt der optischen Achse der Kamera 12. Aufgrund dieser Besonderheiten läßt sich, wenn die Kamera 12 verlagert wird, die Kontinuität bei der Verlagerung der Bilder in der Nähe des Zielobjekts aufgrund der Parallaxe bei der Verlagerung der Kamera 12 in einfacher Weise beibehalten.
Darüber hinaus sind bei dem Verfahren, bei dem die optische Achse der Kamera 12 gedreht wird, die Richtung, in der die Parallaxe bezüglich des Objekts 3 auftritt, das näher an der Kamera 12 gelegen ist als der Drehmittelpunkt der optischen Achse der Kamera 12, und die Richtung, in der die Parallaxe des Objekts 1 auftritt, das von der Kamera 12 weiter entfernt ist als der Drehmittelpunkt der optischen Achse der Kamera 12, einander entgegengesetzt. Speziell wird das Bild 3a des Objekts 3, welches näher bei der Kamera 12 gelegen ist als der Drehmittelpunkt der optischen Achse der Kamera 12, entgegen der Bewegungsrichtung der Kamera 12 verschoben. Außerdem wird das Bild 1a des Objekts 1, das von der Kamera 12 weiter entfernt ist als der Drehmittelpunkt der optischen Achse der Kamera 12, in die gleiche Richtung verlagert, in der auch die Kamera 12 verlagert wird. Daher kann man durch bloßes Feststellen, ob die Verlagerungsrichtung eines Bildes die gleiche oder die entgegengesetzte Richtung ist, in der die Kamera 12 verlagert wird, sofort erfassen, ob ein Objekt sich näher bei der Kamera 12 oder weiter weg von der Kamera 12 befindet als der Drehmittelpunkt der optischen Achse der Kamera 12.
Wie oben beschrieben, wird bei dem stereoskopischen Bewegungsverfahren, bei dem die Kamera 12 verlagert wird, während die Orientierung der Kamera so gesteuert wird, daß ihre optische Achse immer auf denselben Punkt weist, ein Vorteil gegenüber dem stereoskopischen Bewegungsverfahren mit fixierter optischer Achse dadurch erreicht, daß kontinuierliche Parallaxenbilder für die spätere Bildverarbeitung in einfacher Weise ermittelt werden können. Wie allerdings oben auch ausgeführt wurde, hat das stereoskopische Bewegungsverfahren mit drehender optischer Achse den Nachteil, daß umfangreiche Mechanismen erforderlich sind, um die Kamera 12 zu verschieben, während die Richtung der optischen Achse der Kamera 12 gesteuert wird. Daher eignet sich das stereoskopische Bewegungsverfahren mit drehender optischer Achse für die Praxis nicht. Man kann daran denken, bei einer Vorrichtung zum Angeben kontinuierlicher Parallaxenbilder von dem üblichen stereoskopischen Verbundaugen-Verfahren Gebrauch zu machen, bei dem mehrere Kameras eingesetzt werden. Fig. 8 zeigt die stereoskopische Verbundaugen- Methode, bei der mehrere Kameras derart angeordnet sind, daß ihre optischen Achsen auf denselben Punkt gerichtet sind. Wie allerdings aus Fig. 8 hervorgeht, ist es äußerst schwierig und nicht praktikabel, zahlreiche Kameras 12', 12', ... derart anzuordnen, daß ihre optischen Achsen auf denselben Punkt gerichtet sind (in diesem Fall die Stelle eines Objekts 2). Auch ist es nahezu unmöglich, den Zielpunkt auf einen gewünschten Punkt einzustellen und zu ändern, und die Orientierungen der Kameras 12', 12', ... notwendigenfalls zu steuern.
Ein Mensch mit zwei Augen ist mit einem Ausgleichsmechanismus ausgestattet, welcher dafür sorgt, daß zwei Augen ein und dasselbe Objekt in der Mitte des Gesichtskreises erfassen. (Was diesen Ausgleichsmechanismus angeht, wird verwiesen auf "Pencil of Light" von Tsuruta, New Technical Communications, Seiten 31-33; und "Visual Perception Mechanism related to Binocular Stereo Vision Technology" von Hitoshi Ohzu, Transaction of The Japan Society for Precision Engineering, Vol. 54, 5-11, 1988.) Insbesondere dann, wenn der Mensch seine Aufmerksamkeit einem interessierenden Objekt zuwendet, kann er auf natürlichem Wege eine Scharfeinstellung auf das interessierende Objekt vornehmen und kann die optische Achse beider Augen auf das interessierende Objekt lenken. Im Ergebnis kann der Mensch die eingehenden Parrallaxenbilder erfassen, die ideal für stereoskopes Sehen sind, so daß das Bild des interessierenden Objekts in den Parallaxenbildern ortsfest ist, und das Bild des interessierenden Objekts scharf eingestellt ist. Es wird angenommen, daß die idealen Parallaxenbilder eine leistungsfähige Unterstützung für das Gehirn beim Extrahieren und Verarbeiten von Tiefeninformation darstellen.
Der Mensch erwirbt die oben angegebenen Funktionen ohne spezielle Übung, und er beherrscht die Funktionen sehr einfach. Die Fähigkeit des Menschen hängt deutlich von der Evolution und der Vererbung des Lebewesens ebenso ab wie von der Wirkung weiterentwickelter Mechanismen, beispielsweise des Lernens. Es ist ein äußerst schwieriges Unterfangen, Funktionen zu realisieren, die jenen des Menschen äquivalent sind. Bislang wurde noch keine praxistaugliche Theorie und wurden noch keine Mechanismen in diesem Zusammenhang entwickelt.
Die erfindungsgemäße Parallaxenbild-Eingabevorrichtung ist mit der Parallaxenbild- Aufnahmeeinrichtung zum selektiven Abbilden der Bildinformationsstücke ausgestattet, welche durch verschiedene Positionen der Bilderzeugungseinrichtung gegangen sind, außerdem mit einer Einrichtung zum Umwandeln der Bildinformationsstücke zu Bildsignalen. Daher besitzen die kontinuierlichen Parallaxenbilder, die mit der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung aufgenommen werden, die gleichen charakteristischen Merkmale wie jene Bilder, die mit der oben erläuterten stereoskopischen Bewegungsmethode mit drehender optischer Achse gewonnen werden, bei der eine Kamera verlagert wird, während ihre Orientierung derart gesteuert wird, daß die optische Achse der Kamera auf denselben Punkt gerichtet bleibt. Insbesondere die mit der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung erhaltenen kontinuierlichen Parallaxenbilder haben solche Merkmale, daß (1) nur eine geringe Änderung bezüglich der Lage eines Objektbildes eines Objekts erfolgt, das sich in der Nähe eines Zielobjekts befindet, und Änderungen nur bezüglich der Lage eines Bildes eines Objekts vorkommen, das weiter von der Parallaxenbild-Eingabevorrichtung entfernt ist als das Zielobjekt, während die Lage eines Bildes eines Objekts, welches der Parallaxenbild-Eingabevorrichtung näher ist als das Zielobjekt, und (2) die Richtung, in der die Parallaxe bei einem Objekt auftritt, das der Parallaxenbild-Eingabevorrichtung näher ist als das Zielobjekt, und die Richtung, in der die Parallaxe bei einem Objekt auftritt, das von der Parallaxenbild- Eingabevorrichtung weiter weg ist als das Zielobjekt, einander entgegengesetzt sind. Daher kann wie bei dem stereoskopischen Bewegungsverfahren mit drehender optischer Achse eine ausreichende Kontinuität unter den Parallaxenbildern erhalten werden, und man kann kontinuierliche Parallaxenbilder mit praxistauglicher Abtastdichte (eine für die Praxis geeignete Anzahl von Bildern) erhalten.
Die erfindungsgemäße Parallaxenbild-Eingabevorrichtung ist gegenüber der stereoskopischen Bewegungsmethode mit drehender optischer Achse dadurch im Vorteil, daß dann, wenn eine Bilderzeugungslinse als Bilderzeugungseinrichtung verwendet wird, das Bild eines Objekts, welches sich in der Brennebene der Bilderzeugungslinse befindet, automatisch ortsfest auf der Abbildungsebene liegt. Aufgrund dieser Besonderheit ist es nicht notwendig, einen umfangreichen Orientierungs-Steuermechanismus vorzusehen, so, wie es bei der stereoskopischen Bewegungsmethode der Fall ist. Da außerdem die kontinuierlichen Parallaxenbilder von Objekten, die dasjenige Objekt beinhalten, welches sich in der Brennebene der Bilderzeugungslinse befindet, als ein zentrales Objekt erhalten werden, lassen sich angesichts des Prinzips der Erzeugung optischer Bilder die bestmöglichen Bilder in der Scharfeinstellung erhalten.
Die erfindungsgemäße Parallaxenbild-Eingabevorrichtung arbeitet nach dem Prinzip, das verschieden ist von demjenigen des Steuersystems der optischen Achse beim Menschen, welches die Bewegungen der beiden Augäpfel raffiniert steuert. Allerdings sind die Effekte der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung so beschaffen, daß durch bloßes Fokussieren auf das interessierende Objekt ein Bild von dem interessierenden Objekt auf natürliche Weise ortsfest in den Parallaxenbildern stehen bleibt, was identisch ist mit den Auswirkungen der hervorragenden Sehfunktionen des Menschen. Ideal sind die Auswirkungen für die eingegebenen Parallaxenbilder für das stereoskope Sehen, sie stellen eine wirkungsvolle Hilfe für die spätere Verarbeitung zwecks Extraktion der Tiefeninformation dar.
Weiterhin können bei der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung die kontinuierlichen Parallaxenbilder dadurch gewonnen werden, daß man eine einzige Bilderzeugungseinrichtung und eine einzige Parallaxenbild-Aufnahmeeinrichtung verwendet. Daher besteht keine Notwendigkeit für die Verwendung mehrerer Kameras oder dafür, eine Kamera gemäß üblichen Methoden zu verlagern. Damit ist die erfindungsgemäße Parallaxenbild-Eingabevorrichtung von einfachem Aufbau und praxistauglich.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist eine anschauliche Darstellung, die zeigt, wie Bilder der Außenwelt durch eine Optik mit einer einzelnen Bilderzeugungslinse erzeugt werden, wenn eine Pupille vollständig geöffnet ist,
Fig. 2 ist eine anschauliche Darstellung, die zeigt, wie Bilder der Außenwelt von einer Optik mit einer einzelnen Bilderzeugungslinse dann erzeugt werden, wenn die Größe der Pupille verringert ist (so daß Licht nur durch den oberen Teil gelangen kann),
Fig. 3 ist eine anschauliche Darstellung, die zeigt, wie Bilder der Außenwelt von der Optik mit einer einzelnen Bilderzeugungslinse in solchen Fällen erzeugt werden, in denen die Größe der Pupille reduziert und die Lage der Pupille von der in Fig. 2 gezeigten Stellung ausgehend geändert ist (so daß Licht nur durch einen unteren Teil fällt),
Fig. 4A ist eine anschauliche Darstellung, die zeigt, wie aufgenommene Lichtbilder in den Fällen erhalten werden, in denen die Pupille vollständig offen ist,
Fig. 4B ist eine anschauliche Darstellung, die zeigt, wie aufgenommene Lichtbilder in den Fällen erhalten werden, in denen die Pupille nur im oberen Bereich der Bilderzeugungslinse geöffnet ist,
Fig. 4C ist eine anschauliche Darstellung, die zeigt, wie aufgenommene Lichtbilder in den Fällen erhalten werden, in denen die Pupille nur in dem unteren Bereich der Bilderzeugungslinse geöffnet ist,
Fig. 5 ist eine anschauliche Darstellung, die Effekte zeigt, die aus der Abbildung erhalten werden, die durch Beschränkung der Größe der Pupille der Bilderzeugungslinse und durch Verlagern der Stellung der Apertur der Pupille durchgeführt wird,
Fig. 6A ist eine anschauliche Darstellung, die eine stereoskopische Bewegungsbild- Aufzeichnungsmethode veranschaulicht, bei der eine optische Achse einer Kamera parallel verlagert wird,
Fig. 6B ist eine anschauliche Darstellung, die zeigt, wie Bilder mit der stereoskopischen Bewegungsbild-Aufzeichnungsmethode nach Fig. 6A erhalten werden,
Fig. 7A ist eine anschauliche Darstellung, die eine stereoskopische Bewegungs- Bilderzeugungsmethode zeigt, bei der eine optische Achse einer Kamera gedreht wird,
Fig. 7B ist eine anschauliche Darstellung, die zeigt, wie Bilder mit der stereoskopischen Bewegungsbild-Aufzeichnungsmethode nach Fig. 7A erhalten werden,
Fig. 8 ist eine anschauliche Darstellung, die eine stereoskopische Verbundaugenmethode zeigt, bei der mehrere Kameras derart angeordnet sind, daß ihre optischen Achsen auf denselben Punkt gerichtet sind,
Fig. 9 ist ein Blockdiagramm von Funktionen der erfindungsgemäßen Parallaxenbild- Eingabevorrichtung,
Fig. 10 ist eine anschauliche Darstellung eines ersten Beispiels einer Parallaxenbild- Eingabevorrichtung,
Fig. 11 ist eine anschauliche Darstellung einer Ausführungsform der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung,
Fig. 12 ist eine anschauliche Darstellung, die einen Kreis-Kegelstumpfraum zeigt, der sich zwischen einer Pupillenebene einer Bilderzeugungslinse und einem realen Bild einer Mikrolinse erstreckt,
Fig. 13 ist eine anschauliche Darstellung, die zeigt, wie ein Bild von von einer Punktlichtquelle kommendem Licht an einer Stelle einer vierten Mikrolinse 25a von unten gebildet wird, wenn die Punktlichtquelle sich an der Stelle des realen Bilds einer Brennebene befindet,
Fig. 14A ist eine anschauliche Darstellung, die zeigt, daß dann, wenn die Bilderzeugungslinse aus der Position der vierten Mikrolinse 2% von unten her in Fig. 13 betrachtet wird, wobei das Licht von der Punktlichtquelle nicht in der Pupillenebene der Bilderzeugungslinse gesehen wird,
Fig. 14B ist eine anschauliche Darstellung, die zeigt, daß dann, wenn die Bilderzeugungslinse aus der Position einer anderen als der Mikrolinse 25a von unten her in Fig. 13 betrachtet wird, wobei das Licht von der Punktlichtquelle nicht in der Pupillenebene der Bilderzeugungslinse gesehen wird,
Fig. 15 ist eine anschauliche Darstellung, die eine von der Punktlichtquelle abgestrahlte Lichtkomponente zeigt, die auf eine Mikrolinse 25b auftrifft,
Fig. 16 ist eine anschauliche Darstellung, die zeigt, daß die von der Punktlichtquelle kommende Lichtkomponente, die einem optischen Weg folgt, der durch ein Bild einer Mikrolinse 25c geht, zu der Seite außerhalb der Pupille der Bilderzeugungslinse wandert,
Fig. 17A ist eine anschauliche Darstellung, die zeigt, wie ein Bild der Punktlichtquelle gesehen wird, wenn die Bilderzeugungslinse aus der Position der Mikrolinse 25a betrachtet wird,
Fig. 17B ist eine anschauliche Darstellung, die zeigt, wie ein Bild der Punktlichtquelle gesehen wird, wenn die Bilderzeugungslinse aus der Position der Mikrolinse 25b betrachtet wird,
Fig. 17C ist eine anschauliche Darstellung, die zeigt, wie ein Bild der Punktlichtquelle gesehen wird, wenn die Bilderzeugungslinse aus der Position der Mikrolinse 25c betrachtet wird,
Fig. 18 ist eine anschauliche Darstellung, die einen Bereich der Existenz von strahlenden Lichtpunkten zeigt, die auf ein gewisses Bildelement in einer kleinen Zone einer Abbildungseinrichtung auftreffen können,
Fig. 19 ist eine anschauliche Darstellung, die eine Zone der Existenz von Lichtquellenpunkten veranschaulicht, die Signale in unteren Endbereichen von Bildern in einer Bildgruppe zeigt, die von Mikrolinsen erzeugt werden,
Fig. 20 ist eine anschauliche Darstellung, die ein Beispiel für ein Abtastverfahren zeigt, bei dem eine Signalverteilungseinrichtung verwendet wird, entsprechend der Ausführungsform der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung,
Fig. 21 ist eine anschauliche Darstellung, die ein anderes Beispiel für ein Abtastverfahren zeigt, bei dem Lichtempfangselemente bewegt werden, und
Fig. 22 ist eine anschauliche Darstellung, die ein weiteres anderes Beispiel für ein Abtastverfahren zeigt, bei dem ein Lichtverschluß verwendet wird.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Im folgenden wird die Erfindung in größerer Einzelheit unter Bezugnahme auf die begleitenden Zeichnungen beschrieben.
Zunächst sollen im folgenden die grundlegenden Funktionen der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung erläutert werden.
Fig. 9 zeigt grundlegende Funktionen der erfindungsgemäßen Parallaxenbild- Eingabevorrichtung. Wie aus Fig. 9 hervorgeht, enthält eine erfindungsgemäße Parallaxenbild-Eingabevorrichtung 10 eine Bilderzeugungseinrichtung 4 zum Erzeugen von Bildern der Außenwelt. Die Parallaxenbild-Eingabevorrichtung 10 enthält außerdem eine Parallaxenbild-Bildaufnahmeeinrichtung 5 zum Steuern der Eingabestellung für Bilder in der Bilderzeugungseinrichtung 4, zum Erfassen der Bilder, die von der Bilderzeugungseinrichtung 4 erzeugt wurden, und zum Umwandeln der Bilder in Bildsignale. Die Parallaxenbild-Eingabevorrichtung enthält außerdem eine Bildaufzeichnungseinrichtung 7 zum Aufzeichnen der Bildsignale, die von dem Parallaxenbildaufnehmer 5 erhalten wurden, und eine allgemeine Steuereinrichtung 8 zum Steuern des Betriebs der Parallaxenbild-Bildaufnahmeeinrichtung 5 und der Bildaufzeichnungseinrichtung 7.
Fig. 10 zeigt eine Parallaxenbild-Eingabevorrichtung 10, die als ein erstes Beispiel für eine Parallaxenbild-Eingabevorrichtung dient. Die Parallaxenbild-Eingabevorrichtung 10 enthält eine Bilderzeugungslinse 14 zum Erzeugen der Bilder der Außenwelt, außerdem einen Lichtverschluß 15, der sich in der Nähe der Pupillenebene der Bilderzeugungslinse 14 befindet, und in dem die Lage einer Apertur gesteuert werden kann. Die Parallaxenbild-Eingabevorrichtung 10 enthält außerdem eine Abbildungseinrichtung 16, die die von der Bilderzeugungslinse 14 und von dem Lichtverschluß 15 erfaßte Bildinformation abbildet und die Bildinformation in Bildsignale umwandelt. Die Abbildungseinrichtung 16 kann aus einem CCD-Bildsensor oder dergleichen bestehen. Weiterhin enthält die Parallaxenbild-Eingabevorrichtung 10 eine Bildaufzeichnungseinrichtung 17 zum Aufzeichnen der Bildsignale, die von der Abbildungseinrichtung 16 erhalten wurden, und eine allgemeine Steuereinheit 18 zum Steuern des Lichtverschlusses 15, der Abbildungseinrichtung 16, und der Bildaufzeichnungsvorrichtung 17 im Verein miteinander.
Die Bilderzeugungslinse 14 der Parallaxenbild-Eingabevorrichtung 10 entspricht der in Fig. 9 gezeigten Bilderzeugungseinrichtung 4. Der Lichtverschluß 15 und die Abbildungseinrichtung (zum Beispiel in Form des CCD-Bildsensors) 16 entsprechen dem in Fig. 9 gezeigten Parallaxenbildaufnehmer 5. Die Bildaufzeichnungsvorrichtung 17 entspricht der Bildaufzeichnungseinrichtung 7 in Fig. 9. Die allgemeine Steuereinheit 18 entspricht der allgemeinen Steuereinrichtung 8 in Fig. 9.
Die Einstellung erfolgt so, daß der Brennpunkt der Bilderzeugungslinse 14 mit dem am ehesten zentralen Objekt (in diesem Fall einem Objekt 2) unter den Zielobjekten 1, 2 und 3 übereinstimmen kann. In Fig. 10 bedeutet A eine Brennebene der Bilderzeugungslinse 14. Kontinuierliche Parallaxenbilder lassen sich erfassen, indem man die Lage der Apertur des Lichtverschlusses 15 nach und nach etwas verändert (abtastend bewegt), mit Hilfe der Abbildungseinrichtung 16 die Bilder erfaßt und sukzessive die so erhaltenen Bildsignale mit Hilfe der Bildaufzeichnungsvorrichtung 17 aufzeichnet. Wenn die Lage der Apertur des Lichtverschlusses 15 von einer Stelle 15a entlang einer Pfeilrichtung zu einer Stelle 15b geändert wird, verschiebt sich ein Bild des Objekts 1 auf der Abbildungseinrichtung 16 von 1a nach 1b, und ein Bild des Objekts 3, das auf der Abbildungseinrichtung 16 erzeugt wird, verschiebt sich von 3a nach 3b. (Eine Änderung erfolgt bezüglich der Lage des Bildes 2a des Objekts 2.) Das abtastende Verschieben der Apertur des Lichtverschlusses 15 kann in einer eindimensionalen Richtung oder kann in zweidimensionalen Richtungen erfolgen. In den Fällen, in denen die Parallaxenbild- Eingabevorrichtung so aufgebaut ist, daß die Beziehung zwischen dem aufgezeichneten Bild und der Lage der Apertur des Lichtverschlusses 15 deutlich sein kann, kann ein beliebiges Abtastmuster verwendet werden.

< Ausführungsform>

Im folgenden wird anhand der Fig. 11 eine Ausführungsform der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung beschrieben.
Nach Fig. 11 enthält eine Parallaxenbild-Eingabevorrichtung 10', die als die Ausführungsform der erfindungsgemäßen Parallaxenbild-Eingabevorrichtung dient, die Bilderzeugungslinse 14 zum Erzeugen von Bildern der Außenwelt, und ein Mikrolinsenfeld 25 zum Steuern der Eingangsposition für Bilder in der Bilderzeugungslinse 14. Die Parallaxenbild-Eingabevorrichtung 10' enthält außerdem eine Abbildungseinrichtung 26, die die von der Bilderzeugungslinse 14 und dem Mikrolinsenfeld 25 erfaßte Bildinformation abbildet und die Bildinformation in Bildsignale umwandelt. Die Abbildungseinrichtung 26 kann durch einen CCD-Bildsensor oder dergleichen gebildet sein. Außerdem enthält die Parallaxenbild-Eingabevorrichtung 10 die Bildaufzeichnungsvorrichtung 17 zum Aufzeichnen der Bildsignale, die von der Abbildungseinrichtung 26 erhalten wurden, und die allgemeine Steuereinheit 18 zum Steuern der Arbeitsweise der Abbildungseinrichtung 26 und der Bildaufzeichnungsvorrichtung 17.
Die Bilderzeugungslinse 14 der Parallaxenbild-Eingabevorrichtung 10' entspricht der Bilderzeugungseinrichtung 4 nach Fig. 9. Das Mikrolinsenfeld 25 und die Abbildungseinrichtung (zum Beispiel in Form des CCD-Bildsensors) 26 entsprechen der in Fig. 9 gezeigten Parallaxenbildaufnahmeeinrichtung 5. Die Bildaufzeichnungsvorrichtung 17 entspricht der in Fig. 9 gezeigten Bildaufzeichnungseinrichtung 7. Die allgemeine Steuereinheit 18 entspricht der in Fig. 9 gezeigten allgemeinen Steuereinrichtung 8.
Der Brennpunkt der Bilderzeugungslinse 14 ist so eingestellt, daß auf dem Mikrolinsenfeld 25 ein scharfes Bild des am ehesten zentral gelegenen Objekts erzeugt werden kann. Wie aus Fig. 11 hervorgeht, wird speziell in den Fällen, in denen das Objekt 2 als das am ehesten zentrale Objekt betrachtet wird, das Objekt 2 auf einer Brennebene A der Bilderzeugungslinse gelegen, die sich auf der Seite links bezüglich der Bilderzeugungslinse 14 befindet, und man erhält ein fokussiertes, scharfes Bild 2d des Objekts 2 auf der Brennebene A' der Bilderzeugungslinse, wobei die Ebene auf der Seite rechts von der Bilderzeugungslinse 14 liegt. In diesen Fällen befindet sich das Mikrolinsenfeld 25 auf der Brennebene A' der Bilderzeugungslinse. Bezüglich des Brennpunkts des Mikrolinsenfelds 25 ist die Position der Pupille der Bilderzeugungslinse 14 so eingestellt, daß sie mit einer Mikrolinsen-Brennebene B zusammenfällt, die auf der linken Seite des Mikrolinsenfeldes 25 liegt, während sich die Abbildungseinrichtung 26 auf der Mikrolinsen- Brennebene B' befindet, die auf der rechten Seite des Mikrolinsenfeldes 25 liegt.
Die Abbildungseinrichtung 26 wird als Feld kleiner Zonen ausgebildet und verarbeitet, die jeweils einer der Mikrolinsen des Mikrolinsenfeldes 25 entsprechen.
Die Anzahl der so erhaltenen Parallaxenbilder stimmt überein mit der Anzahl von Elementen des Mikrolinsenfelds 25 und der Anzahl der kleinen Zonen der Abbildungseinrichtung 26.
Im folgenden wird die Arbeitsweise der Ausführungsform beschrieben. Der Betrieb der Parallaxenbild-Eingabevorrichtung 10' zum Erfassen der kontinuierlichen Parallaxenbilder beruht auf den Funktionen des Mikrolinsenfeldes 25 zur räumlichen Trennung des Bildes der Pupille der Bilderzeugungslinse 14. Wie in Fig. 12 dargestellt ist, kann in den Fällen, in denen die Positionen der Bilderzeugungslinse 14 und des Mikrolinsenfelds 25 die oben beschriebene Bedingung erfüllen, nur das von einem Lichtpunkt (einer Punktlichtquelle), die in einem Kreis-Kegelstumpfraum liegt, der in Fig. 12 gestrichelt angedeutet ist und sich zwischen der Pupillenebene der Bilderzeugungslinse 14 und dem realen Bild 25a' einer Mikrolinse 25a, wobei das reale Bild 25a' auf der Bilderzeugungslinsen-Brennebene A erzeugt wird, kommt, auf der Mikrolinse 25a (das ist die vierte Mikrolinse von unten) des Mikrolinsenfelds 25 auftreffen.
Im folgenden soll zunächst beschrieben werden, wie Bilder in solchen Fällen erhalten werden, in denen gemäß Fig. 13 eine Punktlichtquelle 31 sich an der Stelle des realen Bildes 25a' der Mikrolinse 25a befindet, wobei das reale Bild 25a' auf der Bilderzeugungslinsen-Brennebene A erzeugt wird. In diesem Fall wird als Beispiel die Mikrolinse 25a hergenommen, welche die vierte Mikrolinse von unten ist. Wie in Fig. 13 gezeigt ist, läuft das von der Punktlichtquelle 31 abgestrahlte Licht auseinander und trifft auf die Pupillenebene der Bilderzeugungslinse 14 auf. Die Richtung des optischen Wegs des von der Punktlichtquelle 31 kommenden Lichts wird durch die Wirkung der Bilderzeugungslinse 14 geknickt, und das Licht konvergiert in Richtung der Mikrolinse 25a. Da die Brennebene A der Bilderzeugungslinse und die Brennebene A' der Bilderzeugungslinse eine Fokussierungsbeziehung haben, wird das Bild der Punktlichtquelle 31 an der Stelle der vierten Mikrolinse 25a von unten erzeugt. Speziell wird das durch jeden Teil der Bilderzeugungslinse 14 hindurchgegangene Licht auf die vierte Mikrolinse 25a von unten auftreffen. Wenn daher gemäß Fig. 14A die Bilderzeugungslinse 14 von der Stelle der vierten Mikrolinse 25a von unten her betrachtet wird, so scheint das von der Punktlichtquelle 31 kommende Licht sich über die gesamte Fläche der Pupillenebene der Bilderzeugungslinse 14 auszubreiten. Das von der Punktlichtquelle 31 kommende Licht trifft nicht auf andere Mikrolinsen außer der Mikrolinse 25a auf. Wie in Fig. 14B gezeigt ist, wird in den Fällen, in denen die Bilderzeugungslinse 14 von dem Ort einer anderen Mikrolinse als der Mikrolinse 25a aus betrachtet wird, das von der Punktlichtquelle 3I kommende Licht nicht in der Pupillenebene der Bilderzeugungslinse 14 gesehen, man erhält auf der entsprechenden kleinen Zone der Abbildungseinrichtung 26 ein schwarzes Bild.
Im folgenden soll anhand der Fig. 15 und 16 als zweites beschrieben werden, wie Bilder in solchen Fällen erhalten werden, in denen die Punktlichtquelle 31 sich an einer Stelle befindet, die sich von der Stelle des realen Bildes 25a' der Mikrolinse 25a unterscheidet, wobei das reale Bild 25a' auf der Brennebene A der Bilderzeugungslinse erzeugt wird. In diesen Fällen wird von dem von der Punktlichtquelle 31 abgestrahlten Licht nur die Lichtkomponente, die dem optischen Weg durch den Bereich des realen Bildes einer Mikrolinse des Mikrolinsenfeldes 25 folgt, wobei das reale Bild auf der Brennebene A der Bilderzeugungslinse erzeugt wird, auf die Mikrolinse auftreffen. Beispielsweise ist in Fig. 1 S eine von der Punktlichtquelle 31 abgestrahlte Lichtkomponente, die auf eine Mikrolinse 25b auftreffen kann, durch eine schraffierte Zone dargestellt. Wenn gemäß Fig. 14B in diesen Fällen die Pupillenebene aus der Position der Mikrolinse 25b in der Brennebene A' der Bilderzeugungsebene gemäß Fig. 15 betrachtet wird, so sieht man nur im oberen Teil der Pupillenebene ein unscharfes Bild 31b der Punktlichtquelle 31.
Wie in Fig. 17A dargestellt ist, wird in den Fällen, in denen die Pupillenebene von der Stelle der Mikrolinse 25a aus betrachtet wird, ein unscharfes Bild 31a der Punktlichtquelle 31 etwa im mittleren Bereich der Pupillenebene sehbar. Wie allerdings in Fig. 16 gezeigt ist, liegt für eine Mikrolinse 35c die Punktlichtquelle 31 auf der Seite außerhalb eines Kreis-Kegelstumpfbereichs, der den Bereich des Lichts darstellt, welches auf die Mikrolinse 25c fallen kann. Von dem von der Punktlichtquelle 31 abgestrahlten Licht läuft folglich eine Lichtkomponente (in der in Fig. 16 schraffierten Zone) entlang dem optischen Weg durch das Bild der Mikrolinse 25c zu der Seite außerhalb der Pupille der Bilderzeugungslinse 14. Folglich kann die Lichtkomponente nicht -durch die Bilderzeugungslinse 14 laufen. Wenn gemäß Fig. 17C in derartigen Fällen die Bilderzeugungslinse 14 von der Stelle der Mikrolinse 25c betrachtet wird, wird das von der Punktlichtquelle 31 kommende Licht in der Pupillenebene der Bilderzeugungsebene 14 nicht gesehen, und man erhält ein schwarzes Bild der kleinen Zone der Abbildungseinrichtung 26 entsprechend der Mikrolinse 25c.
Welche Information in dem Bild enthalten ist, welches auf der Abbildungseinrichtung 26 von jeder Mikrolinse des Mikrolinsenfeldes 25 erzeugt wird, wird im folgenden anhand der Fig. 18 erläutert. Das von der Abbildungseinrichtung 26 erzeugte Bild ist das Bild der Pupillenebene der Bilderzeugungslinse 14. Deshalb bestimmt sich der optische Weg des auf die Stelle jedes Bildelements des auf der Abbildungseinrichtung 26 erzeugten Bildes möglicherweise auftreffenden Lichts naturgemäß gemäß dem Prinzip der geometrischen Optik. Wie in Fig. 18 beispielhaft dargestellt ist, sind von den von Strahlungspunkten auf der Lichteinfallseite links von der Bilderzeugungslinse 14 kommenden Lichtkomponenten diejenigen Lichtkomponenten, die auf ein gewisses Bildelement 26a im unteren Bereich einer gewissen kleinen Zone der Abbildungseinrichtung 26 auftreffen können, auf solche Komponenten beschränkt, die von Strahlungspunkten kommen, die in dem gestrichelt angedeuteten Bereich auf der linken Seite der Bilderzeugungslinse 14 liegen. Ein noch wichtigeres Merkmal besteht darin, daß von den Lichtkomponenten, die auf das Bildelement 26a auftreffen können, die Lichtkomponente, die tatsächlich auf das Bildelement 26a auftrifft, nur diejenige ist, die entlang dem optischen Weg innerhalb der gestrichelt dargestellten Zone verläuft.
Daher ist beispielsweise ein Bildelement im mittleren Bereich des Bildes, das auf der Abbildungseinrichtung 26 von jeder Mikrolinse des Mikrolinsenfelds 25 erzeugt wird, dasjenige Bildelement, das gebildet wird durch eine Lichtkomponente, die durch den mittleren Bereich der Bilderzeugungslinse 14 gelaufen ist. Außerdem ist ein Bildelement in einem Umfangsbereich des Bildes, das auf der Abbildungseinrichtung 26 von jeder Mikrolinse des Mikrolinsenfelds 25 erzeugt wird, dasjenige Bildelement, welches von einer Lichtkomponente gebildet wird, die durch einen Umfangsbereich der Bilderzeugungslinse 14 gegangen ist. Dementsprechend ist jedes der von dem Mikrolinsenfeld 25 erzeugten Bilder ein solches Bild, was man dadurch erhält, daß man die zu jeder Mikrolinse gelangenden Lichtsignale räumlich separiert, wobei die räumliche Separierung gemäß den Lichtdurchgangsstellen innerhalb der Pupillenebene der Bilderzeugungslinse 14 erfolgt.
Speziell können aus der Gruppe der Bilder der Pupillenebene, die von den Mikrolinsen auf der Abbildungseinrichtung 26 erzeugt werden, nur die Signale an spezifischen Stellen innerhalb der Bilder abgetastet werden. Dann läßt sich aus den abgetasteten Signalen ein Bild rekonstruieren. Auf diese Weise kann man ein Bild erhalten, welches aus nur den Lichtsignalen zusammengesetzt ist, die durch dieselbe Lichtdurchgangsstelle innerhalb der Pupillenebene der Bilderzeugungslinse 14 gelaufen sind.
Zum Beispiel: man kann nur die Signale in den mittleren Bereichen der von den Mikrolinsen erzeugten Bilder sammeln, und man kann ein einzelnes Bild aus solchen gesammelten Signalen rekonstruieren. Im Ergebnis kann man ein Bild gewinnen, welches sich aus lediglich den Lichtsignalen zusammensetzt, die durch den mittleren Bereich der Pupillenebene der Bilderzeugungslinse 14 gelaufen sind. Außerdem kann man nur die Signale in den unteren Bereichen der von den Mikrolinsen erzeugten Bilder sammeln, und man kann ein einzelnes Bild aus den gesammelten Signalen rekonstruieren. Im Ergebnis kann man ein Bild erhalten, welches sich aus ausschließlich denjenigen Lichtsignalen zusammensetzt, die durch den oberen Bereich der Pupillenebene der Bilderzeugungslinse 14 gelaufen sind. Auf diese Weise können ausschließlich die Signale an spezifischen Stellen innerhalb der kleinen von den Mikrolinsen erzeugten Bilder abgetastet werden, und es kann ein Bild aus den abgetasteten Signalen rekonstruiert werden.
Als Beispiel zeigt Fig. 19 eine Zone der Existenz von Lichtquellenpunkten, die Signale in unteren Endbereichen einer Bildgruppe 14' darstellen, die von den Mikrolinsen des Mikrolinsenfelds 25 erzeugt werden. Die Signale in den unteren Endbereichen der Bilder innerhalb der Bildgruppe 14', die von den Mikrolinsen des Mikrolinsenfelds 25 erzeugt werden, werden ausschließlich aus dem Licht gebildet, das durch den oberen Endbereich der Pupillenebene der Bilderzeugungslinse 14 gegangen ist. Wenn man den optischen Wegen auf der Seite stromaufwärts bezüglich der Bilderzeugungslinse 14 folgt, versteht man, daß der Betrachtungspunkt am oberen Endbereich der Bilderzeugungslinse 14 festgelegt ist, und daß die Lichtsignalkomponenten, die aus unterschiedlichen Richtungen aus der Außenwelt kommen und durch die Stellen der Bilder 25', 25', ... der Mikrolinsen des Mikrolinsenfelds 25 laufen, die von der Bilderzeugungslinse 14 erzeugt werden, empfangen werden. Deshalb ist die Verteilung der Signale, die durch Anordnen der Lichtsignalkomponenten in der Reihenfolge erhalten werden, äquivalent zu der Verteilung der Lichtintensität (das heißt des Bildes) der Außenwelt, die erhalten wird, wenn der Betrachtungspunkt sich an dem oberen Endbereich der Bilderzeugungslinse 14 befindet.
Wie oben beschrieben wurde, ist das Bild, welches rekonstruiert wird durch Abtasten der Signale an den entsprechenden Stellen in den auf der Abbildungseinrichtung 26 erzeugten Bildern, äquivalent zu dem Bild der Außenwelt, welches man erhält, wenn der Betrachtungspunkt sich an einer Stelle der Bilderzeugungslinse 14 befindet, die den Abtaststellen entspricht. Speziell besitzen die rekonstruierten Bilder, die aus den Signalkomponenten gebildet werden, die an verschiedenen Abtaststellen in den auf der Abbildungseinrichtung 26 erzeugten Bildern abgetastet werden, die gegenseitige Parallaxe. In den Fällen, in denen die Abtastung mit ausreichend hoher Dichte auf den auf der Abbildungseinrichtung 26 erzeugten Bildern erfolgt, und Bilder aus den abgetasteten Signalkomponenten rekonstruiert werden, können die rekonstruierten Bilder in der Weise gewonnen werden, daß die Parallaxe von einem Bild zum anderen etwas variiert. Speziell die kontinuierlichen Parallaxenbilder lassen sich auf diese Weise gewinnen.
Außerdem sind bei dieser oben beschriebenen Parallaxenbild-Eingabevorrichtung die zum Konstruieren des aus jedem Blickwinkel gesehenen Bildes notwendigen Signale räumlich unabhängig voneinander. Wie in Fig. 20 zu sehen ist, wird daher als Abtasteinrichtung für jedes Bild eine Signalverteilungseinrichtung 40 mit mehreren Signalleitungen verwendet. In diesem Fall können gleichzeitig mehrere Bilder erfaßt werden.
Die Fähigkeit des gleichzeitigen Erfassens einer Mehrzahl von Parallaxenbildern bedeutet, daß die zum Erfassen der Bilder erforderliche Zeit kurz gehalten werden kann, und daß, weil unter den Parallaxenbildern keine Abtastzeitverzögerung zustande kommt, auch dann keine Verwischungen stattfinden, wenn es sich um ein sich rasch bewegendes Objekt handelt. Da außerdem kein Abtastmechanismus verwendet werden muß, kann die Parallaxenbild-Eingabevorrichtung einen einfachen Aufbau haben. Bei der Ausführungsform allerdings ist die Bildebene der Bilderzeugungslinse 14 durch das Mikrolinsenfeld 25 unterteilt. Aus der Sicht der räumlichen Auflösung ist daher das Beispiel, bei dem die gesamte Bildinformation auf einem einzigen Parallaxenbild erfaßt wird, vorteilhafter als die zweite Ausführungsform.
Bei dem Abtastverfahren nach Fig. 20 gemäß der Erfindung werden für jedes Bild auf der Abbildungseinrichtung 26 gleichzeitig mehrere Bilder erfaßt. Alternativ kann als anschauliches Beispiel eine Abtastung von lediglich den Komponenten, die durch eine gewisse Pupillenstelle hindurchgegangen sind, sukzessive durchgeführt werden, und man kann hierdurch sukzessive Parallaxenbilder erhalten. In diesen Fällen kann man zum Beispiel gemäß Fig. 21 Lichtempfangselemente 26, 26, ... bewegen. Als weiteres Beispiel gemäß Fig. 22 kann man einen Lichtverschluß 15' bewegen.
Das Mikrolinsenfeld und das Nadelloch-Feld können ein eindimensionales Feld oder ein zweidimensionales Feld sein. Wenn die Einrichtung zum Steuern der Eingangsposition für Bildinformation den Aufbau eines eindimensionalen Feldes hat, kann ein Linsenfeld mit einer Linsenbrechkraft in nur einer eindimensionalen Richtung, beispielsweise ein Zylinderlinsenfeld, verwendet werden, oder man kann ein Linsenfeld verwenden, welches Brechkraft in zwei Richtungen aufweist, beispielsweise ein Feld aus sphärischen Linsen.

Claims

1. Parallaxenbild-Eingabevorrichtung zum Erfassen mehrerer, aus unterschiedlichen Blickwinkeln gesehenen Bildern, umfassend:

i) eine Bilderzeugungseinrichtung (4; 14) zum Erzeugen von Bildern der Außenwelt,

ii) eine Parallexenbild-Aufnahmeeinrichtung (5; 25, 26) zum selektiven Abbilden von Stücken von Bildinformation, die durch verschiedene Stellen in der Bilderzeugungseinrichtung gegangen sind, und Umwandeln der Bildinformationsstücke in Bildsignale, und

iii) eine Bildaufzeichnungseinrichtung (7; 17) zum Aufzeichnen der Bildsignale, die von der Parallaxenbild-Aufnahmeeinrichtung (5; 25, 26) erhalten wurden,

wobei die Parallaxenbild-Aufnahmeeinrichtung (5; 25, 26) aufweist:

a) eine Bilderzeugungselementengruppe (25), zusammengesetzt aus mehreren Bilderzeugungselementen, die jeweils auf einer zweiten Bildebene (B') ein Bild eines von verschiedenen Teilen eines Bilds erzeugen, das von der Bilderzeugungseinrichtung (4; 14) auf einer ersten Bildebene (A) erzeugt wurde, und

b) eine Abbildungseinrichtung (26), die eine Mehrzahl kleiner Zonen aufweist, die sich auf der zweiten Bildebene (B') befinden, um den mehreren Bilderzeugungselementen zu entsprechen,

wobei jede der kleinen Zonen der Abbildungseinrichtung (26) eine Mehrzahl von Bildelementbereichen aufweist und die Bildinformation, deren Bild erzeugt wurde, in ein Bildsignal umwandelt, wobei eine Signalverteilungseinrichtung (40) mit mehreren Signalleitungen an die Abbildungseinrichtung angeschlossen ist, um gleichzeitig mehrere Parallaxenbilder zu erfassen.

2. Vorrichtung nach Anspruch 1, bei der die Abbildungseinrichtung (26) mehrere Abbildungselemente aufweist, von denen jedes eine Abbildungsebene besitzt, die einer der kleinen Zonen entspricht.

3. Vorrichtung nach Anspruch 1, bei der die Bilderzeugungselementengruppe (25) ein Linsenfeld aufweist das Brechkraft in zweidimensionale Richtungen besitzt.

4. Vorrichtung nach Anspruch 1, bei dem die Bilderzeugungselementengruppe (25) ein Zylinderlinsenfeld ist das Brechkraft in nur einer eindimensionalen Richtung besitzt.

5. Vorrichtung nach Anspruch 1, bei der die Abbildungseinrichtung (26) gleichzeitig mehrere Bildinformationsstücke abbildet, die durch verschiedene Stellen in der Bilderzeugungseinrichtung (4; 14) gegangen sind.

6. Vorrichtung nach Anspruch 1, bei der die Abbildungseinrichtung (26) eine photoelektrische bildgebende Wandlereinrichtung ist.

7. Vorrichtung nach Anspruch 1, bei der die Abbildungseinrichtung (26) eine auf photochemischer Reaktion beruhende Abbildungseinrichtung ist.

8. Vorrichtung nach Anspruch 1, bei der mehrere Parallaxenbilder dadurch erhalten werden, daß Bildsignale rekonstruiert werden, welche von der Abbildungseinrichtung (26) erhalten wurden.