WO2006040200A1 - Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system - Google Patents

Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system Download PDF

Info

Publication number
WO2006040200A1
WO2006040200A1 PCT/EP2005/053194 EP2005053194W WO2006040200A1 WO 2006040200 A1 WO2006040200 A1 WO 2006040200A1 EP 2005053194 W EP2005053194 W EP 2005053194W WO 2006040200 A1 WO2006040200 A1 WO 2006040200A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
illumination angle
unit
virtual
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2005/053194
Other languages
English (en)
French (fr)
Inventor
Ankit Jamwal
Alexandra Musto
Reiner Müller
Günter Schrepfer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to JP2007536129A priority Critical patent/JP2008516352A/ja
Priority to US11/665,358 priority patent/US20080211813A1/en
Priority to EP05778974A priority patent/EP2057445A1/de
Publication of WO2006040200A1 publication Critical patent/WO2006040200A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J1/1626—Arrangements with two photodetectors, the signals of which are compared
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation

Definitions

  • the present invention relates to a device and a method for guiding light in an augmented reality system or an "extended reality 1 " system, and in particular to a device and a method for generating virtual shadow and shadow or virtual brightening areas for inserted virtual objects corresponding to the actual lighting conditions, which can be used for mobile terminals such as mobile phones or PDAs (Personal Digital Assistant).
  • mobile terminals such as mobile phones or PDAs (Personal Digital Assistant).
  • Augmented reality or "augmented reality” represents a new field of technology in which, for example, a current visual perception of the real environment is simultaneously superimposed on additional visual information
  • a user simultaneously perceives both the real environment and the virtual image components generated by, for example, computer graphics, as combined representation (summation image).
  • This mixing of real and virtual image constituents into "augmented reality” or “augmented reality” enables the user to carry out his actions by directly including the superimposed and thus simultaneously perceptible additional information.
  • an "augmented reality” In order for an "augmented reality” to be as realistic as possible, there is a significant problem in determining the real lighting conditions in order to optimally adapt the virtual lighting conditions or a so-called light guide for the virtual object to be inserted.
  • the adaptation of the virtual lighting conditions to the actual lighting conditions is understood below to mean in particular the insertion of virtual shadow and / or brightening areas for the virtual object to be inserted.
  • the illumination direction is measured dynamically by means of image processing, a specially shaped object such as a shadow catcher being placed in the scene, and the shadows placed on this object by itself
  • a specially shaped object such as a shadow catcher being placed in the scene
  • this object or the "shadow cat” is always visible in the image when changes in the lighting take place, which is especially true for mobile "augmented reality Systems "is not practical.
  • the invention is therefore based on the object of providing a device and a method for guiding light in an augmented reality system or a system with "extended reality”. did “" create, which is simple and user-friendly and in particular for mobile applications were ⁇ can used.
  • a data processing unit can be based on previously known sensor positioning, the sensor orientation and the properties of the sensor radiation pattern and the detected sensor Aus ⁇ output signals determine an illumination angle with respect to the opti ⁇ cal axis of the recording unit.
  • the line guidance or a virtual shadow and / or a virtual fill-in area for the virtual object can subsequently be inserted into the display unit. In this way, a very realistic light guide for the virtual object is obtained with minimal effort.
  • a one-dimensional illumination angle is determined by ratio formation of two sensor output signals taking into account the sensor directional diagram and the sensor orientation.
  • GPS systems Global Positioning System
  • a spatial illumination angle may also be estimated based on only one dimensional illumination angle as well as the time of day, particularly in daylight environment, a respective time of day dependent sun altitude, i. vertical illumination angle, can be taken into account.
  • a detection unit for detecting a color temperature of the present illumination and an analysis unit for analyzing the color temperature can be used, wherein the detection unit is preferably implemented by the already existing recording unit or camera.
  • the directional diagrams of the sensors are preferably the same and the distances between the sensors to each other as large as possible.
  • the determination of the illumination angle as a function of the recording unit is carried out continuously with respect to a time axis, as a result of which a particularly realistic light guidance can be generated for the virtual objects.
  • the sensors with their sensor orientations and associated Richtdiagram ⁇ men can preferably be rotatably arranged. Furthermore, a threshold decision unit for determining a uniqueness of an illumination angle can be provided, wherein in the absence of uniqueness the virtual light guide is switched off. Accordingly, in the case of diffuse lighting conditions or lighting conditions with a large number of light sources distributed in space, no virtual shadow and / or brightening areas are generated for the virtual object.
  • a real object with a recording unit which has an optical axis
  • a virtual object to be inserted is generated with a data processing unit and likewise displayed on the display unit or superimposed on the real object.
  • a lighting is subsequently detected and output in each case as sensor output signals.
  • an illumination angle with respect to the optical axis is subsequently determined and a light guide or insertion depending on the determined illumination angle of virtual shadow and / or virtual light areas for the virtual object.
  • FIG. 1 shows a simplified representation of an application case for the method according to the invention and the associated device for carrying out a light guide in an augmented reality system;
  • FIG. 2 shows a simplified representation of the device according to FIG. 1 in order to illustrate the mode of action of the sensor directivity diagrams of the sensors when determining a lighting angle;
  • FIG. 3 shows a simplified representation to illustrate the one-dimensional illumination angle determined in an augmented reality system according to the invention.
  • FIG. 4 shows a simplified representation for illustrating a spatial illumination angle by means of two one-dimensional illumination angles.
  • FIG. 1 shows a simplified representation of an "Augmented Reality System” or “augmented reality” system, as may be implemented, for example, in a mobile terminal and in particular a mobile telecommunication terminal or mobile phone H, respectively.
  • an image of a real environment or a real object RO to be recorded is recorded by a camera or recording unit AE integrated in the mobile terminal H with an associated real shadow RS and displayed on a display unit I.
  • a so-called virtual object VO is superimposed on the recorded real object with its ZUT-associated shadow, which may be a flowerpot, for example, resulting in an augmented reality or the so-called augmented reality.
  • the real object RO with its associated real shadow RS and the virtual object VO can also represent any other objects.
  • a light source L is represented, for example, in the form of an incandescent lamp, which is primarily responsible for illuminating the real environment or the real object RO, and thus the real shadow or real shadow associated with the real object RO.
  • Shadow area RS generated. Since such a real shadow RS also changes correspondingly with a change in the illumination conditions, for example, is shortened or lengthened or rotated by a predetermined angle, such illumination conditions must also be taken into account in a so-called light guide for the virtual object VO.
  • the virtual object VO of the real environment represented on the display unit I is added, but also a corresponding virtual light guide, ie, for example, a virtual shadow VS of the virtual object VO and / or a virtual highlight area VA the virtual object VO supplemented depending on the respective lighting conditions.
  • a corresponding virtual light guide ie, for example, a virtual shadow VS of the virtual object VO and / or a virtual highlight area VA the virtual object VO supplemented depending on the respective lighting conditions.
  • the photosensitive sensors S each have a previously known sensor directional diagram with a known sensor orientation as well as a previously known sensor positioning.
  • the sensor output signals or their amplitude values output at the respective sensors can then be evaluated in such a way that an illumination angle with respect to the optical axis of the recording unit AE can be determined, which in turn a virtual light guide in the image of the display unit I for the virtual object VO or the generation of a virtual -Shat- range VS and / or a virtual Aufhell Silvers VA can be performed ,
  • This calculation is processed, for example, by a data processing unit already present in the mobile telecommunication terminal H, which is also responsible, for example, for connection establishment and termination as well as a multiplicity of further functionalities of the mobile terminal H.
  • FIG. 2 shows a simplified illustration for illustrating the basic mode of operation in the determination of a Beleu ⁇ htungswinkels, as it is required for the inventive light guide or the generation of virtual shadow and virtual Aufhell Suiteen.
  • the receiving unit AE e.g. arranged on the housing surface of the mobile terminal H, the receiving unit AE or a conventional Ka ⁇ mera and at least two photosensitive sensors Sl and S2.
  • the recording unit AE has an optical axis OA, which sets the reference axis for the illumination angle ⁇ to be determined to a light source L below.
  • the sensors S1 and S2 have a previously known sensor positioning and, according to FIG. 2, are at a previously known distance d1 and d2 from the mounting position. distance unit AE spaced. Furthermore, the sensors S1 and S2 have a previously known sensor orientation SA1 and SA2 with respect to the optical axis OA of the recording unit, which is correlated with a respective known directional pattern RD1 and RD2. According to FIG. 2, the sensor orientation SA1 and SA2 is parallel to the optical axis OA of the recording unit, resulting in a simplified calculation of the one-dimensional illumination angle ⁇ .
  • the curve of the directional diagram RD1 and RD2 is elliptical according to FIG. 2 and has an elliptical lobe shape in a spatial representation.
  • a distance from the sensor to the edge of the elliptic curve or the spatial elliptical lobe of the sensor directional diagram corresponds to an amplitude of a sensor output signal SS1 and SS2 which is output at the sensor when light from the light source L falls at a corresponding angle ⁇ 1 or ⁇ 2 to the sensor orientation SA1 or SA2 on the sensors S1 and S2.
  • an amplitude of the sensor output signal SSl and SS2 is a direct measure of the angles .beta.l and .beta.2, which is why, having knowledge of the properties of the directional diagram RD1 and RD2 or of the curve shapes and the sensor positions or the distances d1 and d2, as well as the sensor alignment SAl and SA2 with respect to the optical axis OA can uniquely determine a one-dimensional illumination angle ⁇ .
  • the corresponding virtual light guidance can now also be performed and, for example, a virtual shadow area VS and / or a virtual Aufhell Scheme VA in the image of the display unit I according to Figure 1 are realistic or winkeltreu inserted.
  • the photosensitive sensors S or S1 and S2 can be realized, for example, by a photodiode, a phototransistor or other photosensitive elements which have a previously known directional pattern. A directional pattern may also be adjusted or adjusted via a lens array located in front of the photosensitive sensor.
  • the resulting one-dimensional value can therefore be determined in a plane defined by the two sensor elements S1 and S2 by forming the ratio of the two sensor output signals SS1 and SS2 Light incident angle or illumination angle ⁇ , similar to the monopulse method in radar technology, are determined.
  • 'Since only a one-dimensional illumination angle may be ⁇ determined with two such light-sensitive sensors, however, is to determine a syndromemli ⁇ cher illumination angle for a realistic light guide, according to one embodiment of Figure 4, two such eindimensio ⁇ dimensional illumination angle for determining a spatial Be ⁇ leuchtungswinkels determined.
  • FIG. 4 two such arrangements are combined as shown in FIGS. 2 and 3, so that in each case one-dimensional illumination angles cty can be determined, for example in ay-direction and .alpha..sub.z, for example in a z-direction. This makes it possible to determine a resulting spatial illumination angle for a light source L in the room.
  • a third photosensitive sensor is preferably arranged, for example, on the housing surface of the mobile terminal H such that it is located in a further plane.
  • it is arranged, for example, perpendicular to the xy plane of the first two sensors in an xz or yz plane, as a result of which Angled coordinate system results.
  • one of the three sensors is used twice to determine the two one-dimensional illumination angles ⁇ y and ⁇ z .
  • other sensor arrangements and in particular a larger number of sensors are also possible, as a result of which an accuracy or a detection range of the lighting conditions can be further improved.
  • the respective sensor orientations, sensor positioning and sensor directional diagrams are taken into account accordingly in the evaluation of the output sensor output signals.
  • a common method for determining the spatial illumination angle from two one-dimensional illumination angles is, for example, the triangulation method known from GPS systems (Global Positioning System).
  • GPS systems Global Positioning System
  • any other methods for determining a spatial illumination angle are also possible.
  • such a spatial illumination angle can also be determined or estimated only on the basis of a one-dimensional illumination angle, provided that the plane of the two light-sensitive sensors necessary for this one-dimensional illumination angle is parallel to a horizon or an earth surface and Main illumination source is realized by the sun or sunlight, as spielmik in daylight environment is usually the case.
  • a time of day at a specific location is taken into consideration, from which a position of the sun or a second illumination angle can be estimated vertically or vertically to the earth's surface.
  • illumination changes taking place only in the horizontal direction are detected by the two sensors S1 and S2 or by the one-dimensional illumination angle .alpha.
  • the lighting changes taking place in the vertical direction are derived from an instantaneous time of day.
  • a timer unit which is usually present in mobile terminals H, for example in the form of a clock with time zone indication and summertime consideration, is used.
  • a detection unit for detecting a color temperature of the present illumination can be provided for determining a daylight or artificial light environment, wherein an analysis unit analyzes or evaluates the detected color temperature. Since the conventional recording units or cameras used in mobile terminals H generally provide such information with regard to a color temperature in any case, the recording unit AE and the data processing unit of the mobile terminal H are used as detection unit for the color temperature det. Due to the use of existing Zeitge ⁇ units and recording units, results for this second embodiment, a particularly simple and kos ⁇ tenberichte implementation.
  • the properties or curves according to FIG. 2 of the sensor directional diagrams of the sensors S used are preferably the same or identical and the distances between the sensors are as large as possible.
  • the illumination angle is continuously carried out with respect to a time as a function of the recording unit AE. More precisely, for each acquisition of a sequence of images, associated calculations and a corresponding light guidance are carried out. In principle, in order to save resources such as computing capacity, however, such calculations can also be limited to predetermined intervals which are independent of the functionality of the recording unit.
  • the sensors with their previously known sensor orientations and associated sensor directional diagrams can also be rotatable, e.g.
  • the changing angle values for the sensor orientations must also be recorded and transmitted to the data processing unit for compensation or consideration.
  • a threshold decision unit for determining a uniqueness of a lighting angle and thus the lighting conditions, wherein the virtual light guide for the virtual objects is switched off or no virtual shadow and / or virtual Aufhellberei ⁇ che are generated in the image of the display unit.
  • faulty virtual light guidance can thereby be prevented, which in turn permits a very realistic depiction of virtual objects.
  • the present invention has been described with reference to a mobile telecommunication terminal, such as a mobile H for example. However, it is not limited to and includes in the same way, other mobile devices such as PDAs (Personal Digital Aassistant). It can also be applied to stationary augmented reality systems. Furthermore, the present invention has been described with reference to a single light source such as a light bulb or a sun ei ⁇ ner. However, the invention is not limited thereto, but in the same way also includes other main light sources, which can be composed of a multiplicity of light sources or other types of light sources. Furthermore, the invention has been described with reference to two or three light-sensitive sensors for determining ariesswin ⁇ cle. However, it is not limited thereto, but equally includes systems with a plurality of photosensitive sensors that can be arbitrarily positioned and aligned to the receiving unit AE and the optical axis OA.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

Die vorliegenden Erfindung betrifft eine Vorrichtung und ein Verfahren zur Lichtführung in einem Augmented-Reality-System, wobei eine Aufnahmeeinheit (AE), welche eine optische Achse aufweist, ein reales Objekt (RO, RS) aufnimmt und an einer Anzeigeeinheit (I) anzeigt. Eine Datenverarbeitungseinheit erzeugt ein virtuelles Objekt (VO) und zeigt dieses ebenfalls in der Anzeigeeinheit (I) an. Auf der Grundlage einer vorbekannten Sensor-Positionierung, einer Sensor-Ausrichtung, einem Sensor-Richtdiagramm sowie einem ausgegebenen Sensor-Ausgangssignal von zumindest zwei lichtempfindlichen Sensoren (S) wird anschließend ein Beleuchtungswinkel ermittelt und in Abhängigkeit von diesem Beleuchtungswinkel in der Anzeigeeinheit (I) die Lichtführung für das virtuelle Objekt (VO) durchgeführt.

Description

Beschreibung
VORRICHTUNG UND VERFAHREN ZUR BELEÜCHTUNGS- UND SCHATTENSIMULATION IN EINEM AUGMENTED-REALITY-SYSTΞM
Die vorliegenden Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zur Lichtführung in einem Augmented- Reality-System bzw. einem System mit einer „erweiterten Rea¬ lität1" und insbesondere auf eine Vorrichtung und ein verfah- ren zum Erzeugen von virtuellen Schatten- und/oder virtuellen Aufhellbereichen für eingefügte virtuelle Objekte entspre¬ chend der tatsächlichen Beleuchtungsverhältnisse, welches für mobile Endgeräte wie beispielsweise Handys oder PDAs (Perso¬ nal Digital Assistant) verwendet werden kann.
Augmented Reality bzw. „erweiterte Realität" stellt ein neues Gebiet der Technik dar, bei dem beispielsweise einer aktuel¬ len optischen Wahrnehmung der realen Umgebung gleichzeitig zusätzliche visuelle Informationen überlagert werden. Dabei unterscheidet man grundsätzlich zwischen der sogenannten
„see-trough'"-Technik, bei der ein Anwender z.B. durch eine lichtdurchlässige Anzeigeeinheit in die reale Umgebung blickt, und die sogenannte „feed-through""-Technik, bei der die reale Umgebung durch eine Aufnahmeeinheit wie beispiels- weise eine Kamera aufgenommen und vor der Wiedergabe an einer Anzeigeeinheit mit einem computergenerierten virtuellen Bild gemischt bzw. überlagert wird.
Ein Anwender nimmt demzufolge im Ergebnis gleichzeitig sowohl die reale Umgebung als auch die durch beispielsweise Compu¬ tergrafik erzeugten, virtuellen Bildbestandteile als kombi¬ nierte Darstellung (Summenbild) wahr. Diese Vermischung von realen und virtuellen Bildbestandteilen zur „erweiterten Rea¬ lität" bzw. „augmented reality" ermöglicht dem Anwender, sei- ne Aktionen unter unmittelbarem Einbezug der überlagerten und damit gleichzeitig wahrnehmbaren Zusatzinformationen auszu¬ führen. Damit eine „erweiterte Realität" möglichst realistisch ist, besteht ein wesentliches Problem in einer Bestimmung der rea¬ len Beleuchtungsverhältnisse, um damit die virtuellen Be- leuchtungsverhältnisse bzw. eine sogenannte Lichtführung für das einzufügende virtuelle Objekt optimal anzupassen. Unter einer derartigen virtuellen Lichtführung bzw. dem Anpassen der virtuellen Beleuchtungsverhältnisse an die realen Be¬ leuchtungsverhältnisse wird nachfolgend insbesondere das Ein- fügen von virtuellen Schatten- und/oder Aufhellbereichen für das einzufügende virtuelle Objekt verstanden.
Die Realisierung einer derartigen virtuellen Lichtführung bzw. die Integration von virtuellen Schatten- und/oder Auf- hellbereichen in „Augmented-Reality-Systemen" wurde bisher größtenteils nur sehr statisch behandelt, wobei eine Position einer Lichtquelle fest bzw. unveränderbar in das virtuelle 3D-Modell integriert wurde. Nachteilig ist hierbei, dass Po¬ sitionsänderungen des Benutzers bzw. der Aufnahmeeinheit oder der Lichtquelle, die unmittelbar auch zu einer Veränderung der Beleuchtungsverhältnisse führen, nicht berücksichtigt werden können.
Bei einem anderen herkömmlichen „Augmented-Reality-Systemw wird die Beleuchtungsrichtung mittels Bildverarbeitung dyna¬ misch vermessen, wobei ein besonders geformtes Objekt, wie beispielsweise ein „shadow catcher" in der Szene platziert wird, und die Schatten, die dieses Objekt auf sich selbst wirft, mit Bildverarbeitungsmethoden vermisst. Dies hat je- doch den Nachteil, dass dieses Objekt bzw. der „shadow cat- cher" immer im Bild zu sehen ist, wenn Veränderungen in der Beleuchtung stattfinden, was insbesondere für mobile „Augmen- ted-Reality-Systeme" nicht praktikabel ist.
Der Erfindung liegt daher die Aufgabe zu Grunde, eine Vor¬ richtung und ein Verfahren zur Lichtführung in einem Augmen- ted-Reality-System bzw. einem System mit „erweiterter Reali- tat"" zu schaffen, welches einfach und benutzerfreundlich ist sowie insbesondere für mobile Einsatzbereiche verwendet wer¬ den kann.
Erfindungsgemäß wird diese Aufgabe hinsichtlich der Vorrich¬ tung durch die Merkmale des Patentanspruchs 1 und hinsicht¬ lich des Verfahrens durch die Maßnahmen des Patentanspruchs 13 gelöst.
Insbesondere durch die Verwendung von zumindest zwei licht¬ empfindlichen Sensoren mit jeweils einem vorbekannten Sensor- Richtdiagramm, die hinsichtlich der Aufnahmeeinheit und ihrer optischen Achse jeweils eine vorbekannte Sensor-Positionier¬ ung und Sensor-Ausrichtung aufweisen, kann eine Datenverar- beitungseinheit auf der Grundlage der vorbekannten Sensor- Positionierung, der Sensor-Ausrichtung und der Eigenschaften des Sensor-Richtdiagramms sowie der erfassten Sensor-Aus¬ gangssignale einen Beleuchtungswinkel in Bezug auf die opti¬ sche Achse der Aufnahmeeinheit ermitteln. In Abhängigkeit von diesem Beleuchtungswinkel kann anschließend in der Anzeige¬ einheit die Liσhtführung bzw. ein virtueller Schatten- und/oder ein virtueller Aufhellbereich für das virtuelle Ob¬ jekt eingefügt werden. Auf diese Weise erhält man mit minima¬ lem Aufwand eine sehr realistische Lichtführung für das vir- tuelle Objekt.
Vorzugsweise wird ein eindimensionaler Beleuchtungswinkel durch Verhältnisbildung von zwei Sensor-Ausgangssignalen un¬ ter Berücksichtigung des Sensor-Richtdiagramms und der Sen- sor-Ausrichtung ermittelt. Eine derartige Realisierung ist sehr kostengünstig und darüber hinaus benutzerfreundlich, da bisherige Marker bzw. „shadow catcher" nicht mehr benötigt werden.
Vorzugsweise wird ein räumlicher Beleuchtungswinkel durch
Triangulierung von zwei eindimensionalen Beleuchtungswinkeln ermittelt. Bei einem derartigen Verfahren, wie es beispiels- weise in GPS-Systemen (Global Positioning System) verwendet wird, reichen grundsätzlich drei lichtempfindliche Sensoren aus, deren Sensor-Ausrichtungen nicht in einer gemeinsamen Ebene liegen. Der Realisierungsaufwand wird dadurch weiter verringert.
Ferner kann ein räumlicher Beleuchtungswinkel auch auf der Grundlage von nur einem eindimensionalen Beleuchtungswinkel sowie auf der Grundlage der Tageszeit geschätzt werden, wobei insbesondere bei Tageslichtumgebung ein jeweiliger von der Tageszeit abhängiger Sonnenstand, d.h. vertikaler Beleuch¬ tungswinkel, mit berücksichtigt werden kann. In einem Teil der Anwendungsfälle kann demzufolge der Realisierungsaufwand weiter verringert werden. Zur Ermittlung der Tageslichtumge- bung kann beispielsweise eine Erfassungseinheit zum Erfassen einer Farbtemperatur der vorliegenden Beleuchtung und einer Analyseeinheit zum Analysieren der Farbtemperatur herangezo¬ gen werden, wobei vorzugsweise die Erfassungseinheit durch die ohnehin vorhandene Aufnahmeeinheit bzw. Kamera realisiert ist.
Zur Optimierung der Genauigkeit und zur weiteren Vereinfa¬ chung sind die Eigenschaften der Richtdiagramme der Sensoren vorzugsweise gleich und die Abstände der Sensoren zueinander möglichst groß.
Ferner wird die Bestimmung des Beleuchtungswinkels in Abhän¬ gigkeit von der Aufnahmeeinheit hinsichtlich einer Zeitachse kontinuierlich durchgeführt, wodurch sich eine besonders rea- listisσhe Lichtführung für die virtuellen Objekte erzeugen lässt.
Zur weiteren Verbesserung der Genauigkeit und zum Verarbeiten von schwierigen Beleuchtungsverhältnissen können die Sensoren mit ihren Sensor-Ausrichtungen und zugehörigen Richtdiagram¬ men vorzugsweise drehbar angeordnet werden. Ferner kann eine Schwellwert-Entscheidungseinheit zum Ermit¬ teln einer Eindeutigkeit eines Beleuchtungswinkels vorgesehen werden, wobei bei fehlender Eindeutigkeit die virtuelle Lichtführung abgeschaltet wird. Insbesondere bei diffusen Be- leuchtungsverhältnissen bzw. Beleuchtungsverhältnissen mit einer Vielzahl von im Raum verteilten Lichtquellen werden demzufolge keine virtuellen Schatten- und/oder Aufhellberei¬ che für das virtuelle Objekt erzeugt.
Hinsichtlich des Verfahrens wird zunächst ein reales Objekt mit einer Aufnahmeeinheit, welches eine optische Achse auf¬ weist, aufgenommen und in einer Anzeigeeinheit angezeigt. Ferner wird mit einer Datenverarbeitungseinheit ein einzufü¬ gendes virtuelles Objekt erzeugt und ebenfalls an der Anzei- geeinheit angezeigt bzw. dem realen Objekt überlagert. Mit zumindest zwei lichtempfindlichen Sensoren, die jeweils ein vorbekanntes Sensor-Richtdiagramm, eine Sensor-Positionierung und eine Sensor-Ausrichtung aufweisen, wird anschließend eine Beleuchtung erfasst und jeweils als Sensor-Ausgangssignale ausgegeben. Unter Verwendung dieser Sensor-Ausgangssignale und auf der Grundlage der vorbekannten Sensor-Positionierung, der Sensor-Ausrichtung und der Eigenschaften des Sensor- Richtdiagramms wird anschließend ein Beleuchtungswinkel in Bezug auf die optische Achse ermittelt und in Abhängigkeit vom ermittelten Beleuchtungswinkel eine Lichtführung bzw. das Einfügen von virtuellen Schatten- und/oder virtuellen Auf¬ hellbereichen für das virtuelle Objekt- durchgeführt.
In den weiteren UnteranSprüchen sind weitere vorteilhafte Ausgestaltungen der Erfindung gekennzeichnet.
Die Erfindung wird nachstehend anhand eines Ausführungsbei¬ spiels unter Bezugnahme auf die Zeichnung näher beschrieben.
Es zeigen: Figur 1 eine vereinfachte Darstellung eines Anwendungsfalls für das erfindungsgemäße Verfahren und die zugehörige Vor¬ richtung zum Durchführen einer Lichtführung in einem Augmen- ted-Reality-System;
Figur 2 eine vereinfachte Darstellung der Vorrichtung gemäß Figur 1 zur Veranschaulichung der Wirkungsweise der Sensor- Richtdiagramme der Sensoren bei der Ermittlung eines Beleuch¬ tungswinkels;
Figur 3 eine vereinfachte Darstellung zur Veranschaulichung des in einem erfindungsgemäßen Augmented-Reality-System er¬ mittelten eindimensionalen Beleuchtungswinkels; und
Figur 4 eine vereinfachte Darstellung zur Veranschauliσhung eines räumlichen Beleuchtungswinkels mittels zweier eindimen¬ sionaler Beleuchtungswinkel.
Figur 1 zeigt eine vereinfachte Darstellung eines „Augmented- Reality-Systems" bzw..Systems mit „erweiterter Realität"", wie es beispielsweise in einem mobilen Endgerät und insbesondere einem mobilen Telekommunikationsendgerät bzw. Handy H imple¬ mentiert sein kann.
Gemäß Figur 1 wird von einer im mobilen Endgerät H integrier¬ ten Kamera bzw. Aufnahmeeinheit AE ein Bild von einer realen Umgebung bzw. einem aufzunehmenden realen Objekt RO mit einem zugehörigen realen Schatten RS aufgenommen und an einer An¬ zeigeeinheit I angezeigt. Zur Erweiterung des aufgenommenen Bildes wird als sogenanntes virtuelles Objekt VO beispiels¬ weise ein Ball dem aufgenommenen realen Objekt mit seinem ZUT gehörigen Schatten, der beispielsweise ein Blumentopf sein kann, überlagert, wodurch sich eine erweiterte Realität bzw. die sogenannten „augmented reality" ergibt. Das reale Objekt RO mit seinem zugehörigen realen Schatten RS und das virtuel¬ le Objekt VO können selbstverständlich auch beliebige andere Gegenstände darstellen. Gemäß Figur 1 ist ferner eine Lichtquelle L beispielsweise in Form einer Glühlampe dargestellt, die als Haupt-Lichtquelle für eine Beleuchtung der realen Umgebung bzw. des realen Ob- jekts RO primär verantwortlich ist, und somit den zum realen Objekt RO zugehörigen realen Schatten bzw. Schattenbereich RS erzeugt. Da sich mit Änderung der Beleuchtungsverhältnisse auch ein derartiger realer Schatten RS entsprechend verän¬ dert, beispielsweise verkürzt oder verlängert oder um einen vorbestimmten Winkel verdreht wird, müssen derartige Beleuch¬ tungsverhältnisse auch bei einer sogenannten Lichtführung für das virtuelle Objekt VO berücksichtigt werden. Genauer gesagt wird erfindungsgemäß nicht nur das virtuelle Objekt VO der an der Anzeigeeinheit I dargestellten realen Umgebung hinzuge- fügt, sondern auch eine entsprechende virtuelle Lichtführung durchgeführt, d.h. beispielsweise ein virtueller Schatten VS des virtuellen Objekts VO und/oder ein virtueller Aufhellbe¬ reich VA auf dem virtuellen Objekt VO in Abhängigkeit von den jeweiligen Beleuchtungsverhältnissen ergänzt. Dadurch ergeben sich sehr realistisch wirkende Darstellungen mit „erweiterter Realität" bzw. in Augmented-Reality-Systemen.
Zur Realisierung einer derartigen Lichtführung werden im Ge¬ gensatz zum Stand der Technik nunmehr keine in die Szene ein- gefügten Schatten-Objekte bzw. sogenannte „shadow catcherw verwendet, sondern ein Beleuchtungswinkel in Bezug auf eine optische Achse der Aufnahmeeinheit AE durch zumindest zwei lichtempfindliche Sensoren S, die sich beispielsweise an der Oberfläche eines Gehäuses des mobilen Endgerätes H befinden, ermittelt. Die lichtempfindlichen Sensoren S weisen hierbei jeweils ein vorbekanntes Sensor-Richtdiagramm mit einer vor¬ bekannten Sensor-Ausrichtung sowie eine vorbekannte Sensor- Positionierung auf. Auf der Grundlage dieser Sensor- Positionierung, der Sensor-Ausrichtung und der Eigenschaften des Sensor-Richtdiagramms können anschließend die an den je¬ weiligen Sensoren ausgegebenen Sensor-Ausgangssignale bzw. deren Amplitudenwerte derart ausgewertet werden, dass sich ein Beleuchtungswinkel in Bezug auf die optische Achse der Aufnahmeeinheit AE ermitteln lässt, wodurch wiederum eine virtuelle Lichtführung im Bild der Anzeigeeinheit I für das virtuelle Objekt VO bzw. das Erzeugen eines virtuellen -Schat- tenbereichs VS und/oder eines virtuellen Aufhellbereichs VA durchgeführt werden kann. Diese Berechnung wird beispielswei¬ se von einer im mobilen Telekommunikationsendgerät H ohnehin vorhandenen Datenverarbeitungseinheit bearbeitet, die bei¬ spielsweise auch für einen Verbindungsauf- und -abbau sowie eine Vielzahl von weiteren Funktionalitäten des mobilen End¬ geräts H zuständig ist.
Figur 2 zeigt eine vereinfachte Darstellung zur Veranschauli¬ chung der grundsätzlichen Funktionsweise bei der Ermittlung eines Beleuσhtungswinkels, wie er für die erfindungsgemäße Lichtführung bzw. das Erzeugen von virtuellen Schatten- und virtuellen Aufhellbereichen benötigt wird.
Gemäß Figur 2 sind z.B. an der Gehäuseoberfläche des mobilen Endgeräts H die Aufnahmeeinheit AE bzw. eine herkömmliche Ka¬ mera sowie zumindest zwei lichtempfindliche Sensoren Sl und S2 angeordnet. Die Aufnahmeeinheit AE weist eine optische Achse OA auf, die nachfolgend als Bezugsachse für den zu er¬ mittelnden Beleuchtungswinkel α zu einer Lichtquelle L fest- legt.
Zur Vereinfachung der Darstellung wird gemäß Figur 2 zunächst nur ein eindimensionaler Beleuchtungswinkel α zwischen einer Lichtquelle L und der optischen Achse OA der Aufnahmeeinheit innerhalb einer Ebene betrachtet und erfasst. Ferner ist ge¬ mäß Figur 2 lediglich eine einzige Lichtquelle L, welche bei¬ spielsweise bei einer Tageslichtumgebung durch die Sonne rea¬ lisiert wird, dargestellt.
Die Sensoren Sl und S2 besitzen hinsichtlich der Aufnahmeein¬ heit AE eine vorbekannte Sensor-Positionierung und sind gemäß Figur 2 in einem vorbekannten Abstand dl und d2 von der Auf- nahmeeinheit AE beabstandet. Ferner weisen die Sensoren Sl und S2 eine vorbekannte Sensor-Ausrichtung SAl und SA2 in Be¬ zug auf die optische Achse OA der Aufnahmeeinheit auf, die mit einem jeweiligen vorbekannten Richtdiagramm RDl und RD2 korreliert ist. Die Sensor-Ausrichtung SAl und SA2 ist gemäß Figur 2 parallel zur optischen Achse OA der Aufnahmeeinheit, wodurch sich eine vereinfachte Berechnung des eindimensiona¬ len Beleuchtungswinkels α ergibt. Die Kurve des Richtdia¬ gramms RDl und RD2 ist gemäß Figur 2 elliptisch und besitzt in einer räumlichen Darstellung eine elliptische Keulenform.
Die Wirkungsweise des Sensor-Richtdiagramms ist hierbei wie folgt: Ein Abstand vom Sensor zum Rand der elliptischen Kurve bzw. der räumlichen elliptischen Keule des Sensor-Richtdia- gramms entspricht einer Amplitude eines Sensor-Ausgangs¬ signals SSl und SS2, welches am Sensor ausgegeben wird, wenn Licht von der Lichtquelle L in einem entsprechenden Winkel ßl oder ß2 zur Sensor—Ausrichtung SAl oder SA2 auf die Sensoren Sl und S2 fällt. Demzufolge ist eine Amplitude des Sensor- AusgangsSignals SSl und SS2 ein direktes Maß für die Winkel ßl und ß2, weshalb sich in Kenntnis der Eigenschaften des Richtdiagramms RDl und RD2 bzw. der Kurvenformen sowie der Sensor-Positionierungen bzw. der Abstände dl und d2, sowie der Sensor-Ausrichtung SAl und SA2 in Bezug auf die optische Achse OA ein eindimensionaler Beleuchtungswinkel α eindeutig bestimmen lässt.
Gemäß Figur 3 kann in Abhängigkeit von diesem eindimensiona¬ len Beleuchtungswinkel α und einem vorbekannten virtuellen Winkel γ zwischen der optischen Achse OA der Aufnahmeeinheit AE und dem einzufügenden virtuellen Objekt VO nunmehr auch die entsprechende virtuelle Lichtführung durchgeführt werden und beispielsweise ein virtueller Schattenbereich VS und/oder ein virtueller Aufhellbereich VA im Bild der Anzeigeeinheit I gemäß Figur 1 realistisch bzw. winkeltreu eingefügt werden. Die lichtempfindlichen Sensoren S bzw. Sl und S2 können bei¬ spielsweise durch eine Fotodiode, einen Fototransistor oder andere fotoempfindliche Elemente realisiert werden, die über ein vorbekanntes Richtdiagramm -verfügen. Ein Richtdiagramm kann ferner über eine Linsenanordnung, die sich vor dem lichtempfindlichen Sensor befindet, entsprechend eingestellt oder angepasst werden. Unter Berücksichtigung des Sensor- Richtdiagramme RDl und RD2 sowie der zugehörigen Sensor- Ausrichtungen SAl und SA2 kann demzufolge in einer Ebene, die durch die beiden Sensor-Elemente Sl und S2 festgelegt wird, durch Verhältnisbildung der beiden Sensor-Ausgangssignale SSl und SS2 der resultierende eindimensionale Lichteinfallswinkel bzw. Beleuchtungswinkel α, ähnlich dem Monopuls-Verfahren in der Radartechnik, ermittelt werden.
' Da mit zwei derartigen lichtempfindlichen Sensoren lediglich ein eindimensionaler Beleuchtungswinkel α ermittelt werden kann, jedoch für eine realistische Lichtführung ein räumli¬ cher Beleuchtungswinkel zu ermitteln ist, werden in einem Ausführungsbeispiel gemäß Figur 4 zwei derartige eindimensio¬ nale Beleuchtungswinkel zur Ermittlung eines räumlichen Be¬ leuchtungswinkels ermittelt.
Genauer gesagt werden gemäß Figur 4 zwei derartige Anordnun- gen wie in Figuren 2 und 3 dargestellt miteinander kombi¬ niert, so dass sich jeweils eindimensionale Beleuchtungswin¬ kel cty z.B. in einer y-Richtung und αz z.B. in einer z- Richtung ermitteln lassen. Dadurch lässt sich ein resultie¬ render räumlicher Beleuchtungswinkel für eine Lichtquelle L im Raum bestimmen.
Vorzugsweise wird hierbei ein dritter lichtempfindlicher Sen¬ sor derart z.B. an der Gehäuseoberfläche des mobilen Endge¬ räts H angeordnet, dass er sich in einer weiteren Ebene be- findet. Im einfachsten Fall wird er gemäß Figur 4 beispiels¬ weise senkrecht zur x-y-Ebene der ersten beiden Sensoren in einer x-z- oder y-z-Ebene angeordnet, wodurch sich ein recht- winkliges Koordinatensystem ergibt. Vorzugsweise wird, hierbei einer der drei Sensoren zur Ermittlung der zwei eindimensio¬ nalen Beleuchtungswinkel αy und αz doppelt verwendet. Grund¬ sätzlich sind jedoch auch andere Sensor-Anordnungen und ins- besondere eine größere Anzahl von Sensoren möglich, wodurch sich eine Genauigkeit oder ein Erfassungsbereich der Beleuch¬ tungsverhältnisse weiter verbessern lässt. Die jeweiligen Sensor-Ausrichtungen, Sensor-Positionierungen und Sensor- Richtdiagramme werden bei der Bewertung der ausgegebenen Sen- sor-Ausgangssignale entsprechend berücksichtigt.
Ein übliches Verfahren zur Ermittlung des räumlichen Beleuch¬ tungswinkels aus zwei eindimensionalen Beleuchtungswinkeln ist beispielsweise das von GPS-Systemen (Global Positioning System) bekannte Triangulierungs-Verfahren. Es sind jedoch auch beliebige andere Verfahren zur Bestimmung eines räumli¬ chen Beleuchtungswinkels möglich.
Gemäß einem zweiten nicht dargestellten Ausführungsbeispiel kann ein derartiger räumlicher Beleuchtungswinkel jedoch auch lediglich anhand von einem eindimensionalen Beleuchtungswin¬ kel ermittelt bzw. geschätzt werden, sofern die Ebene der für diesen eindimensionalen Beleuchtungswinkel notwendigen zwei lichtempfindlichen Sensoren parallel zu einem Horizont bzw. einer Erdoberfläche ist und die Hauptbeleuchtungsquelle durch die Sonne bzw. das Sonnenlicht realisiert ist, wie es bei¬ spielsweise bei Tageslichtumgebung in der Regel der Fall ist.
Gemäß diesem besonderen Ausführungsbeispiel wird zur Ermitt- lung des räumlichen Beleuchtungswinkels neben einem eindimen¬ sionalen Beleuchtungswinkel ferner eine an einem bestimmten Ort vorliegende Tageszeit berücksichtigt, aus der sich ein Sonnenstand bzw. ein zweiter Beleuchtungswinkel senkrecht bzw. vertikal zur Erdoberfläche abschätzen lässt. Demzufolge werden durch die zwei Sensoren Sl und S2 bzw. durch den ein¬ dimensionalen Beleuchtungswinkel α lediglich in horizontaler Richtung stattfindende Beleuchtungsänderungen erfasst, wäh- rend die in vertikaler Richtung stattfindenden Beleuchtungs- anderungen aus einer augenblicklichen Tageszeit abgeleitet werden.
Hierfür wird eine in mobilen Endgeräten H üblicherweise ohne¬ hin vorhandene Zeitgebereinheit beispielsweise in Form einer Uhr mit Zeitzonenangabe und Sommerzeitberücksichtigung ver¬ wendet. Ferner kann zum Ermitteln einer Tages- oder Kunst¬ lichtumgebung eine Erfassungseinheit zum Erfassen einer Farb- temperatur der vorliegenden Beleuchtung vorgesehen sein, wo¬ bei eine Analyseeinheit die erfasste Farbtemperatur analy¬ siert bzw. auswertet. Da die in mobilen Endgeräten H einge¬ setzten herkömmlichen Aufnahmeeinheiten bzw. Kameras in der Regel derartige Informationen hinsichtlich einer Farbtempera- tur ohnehin liefern, wird als Erfassungseinheit für die Farb¬ temperatur die Aufnahmeeinheit AE und für die Analyseeinheit die Datenverarbeitungseinheit des mobilen Endgeräts H verwen¬ det. Aufgrund der Verwendung von ohnehin vorhandenen Zeitge¬ bereinheiten und Aufnahmeeinheiten, ergibt sich für dieses zweite Ausführungsbeispiel eine besonders einfache und kos¬ tengünstige Realisierungsform.
Wiederum können selbstverständlich derartige Realisierungs¬ formen auch mit weiteren Sensoren zur Bestimmung von weiteren eindimensionalen Beleuchtungswinkeln kombiniert werden, wor¬ aus sich schließlich ein räumlicher Beleuchtungswinkel er¬ gibt, und daraus eine virtuelle Lichtführung durchgeführt bzw. die virtuellen Schatten- und/oder virtuellen Aufhellbe¬ reiche für die virtuellen Objekte erzeugt werden können. Eine Genauigkeit kann dadurch beliebig verbessert werden.
Zur weiteren Vereinfachung der Berechnungen und zur Erhöhung einer Genauigkeit der Berechnungsergebnisse sind die Eigen¬ schaften bzw. Kurven gemäß Figur 2 der Sensor-Richtdiagramme der verwendeten Sensoren S vorzugsweise gleich bzw. identisch und die Abstände der Sensoren zueinander möglichst groß. Ferner wird zur Realisierung einer möglichst realistischen Lichtführung der Beleuchtungswinkel hinsichtlich einer Zeit in Abhängigkeit von der Aufnahmeeinheit AE kontinuierlich durchgeführt. Genauer gesagt werden z.B. für jede Aufnahme einer Bildfolge zugehörige Berechnungen und eine entsprechen¬ de Lichtführung durchgeführt. Grundsätzlich können insbeson¬ dere zur Einsparung von Ressourcen wie beispielsweise Rechen¬ kapazität derartige Berechnungen jedoch auch nur auf vorbe¬ stimmte Zeitabstände beschränkt werden, die unabhängig von der Funktionalität der Aufnahmeeinheit sind.
Zur Realisierung eines möglichst flexiblen Verfahrens und ei¬ ner zugehörigen Vorrichtung zur Lichtführung in einem Augmen- ted-Reality-System können die Sensoren mit ihren vorbekannten Sensor-Ausrichtungen und zugehörigen Sensor-Richtdiagrammen auch drehbar z.B. an der Gehäuseoberfläche des mobilen Endge¬ räts H angeordnet sein, wobei jedoch die sich ändernden Win¬ kelwerte für die Sensor-Ausrichtungen ebenfalls erfasst und an die Datenverarbeitungseinheit zur Kompensation bzw. Be- rücksichtigung übermittelt werden müssen.
Abschließend kann ferner eine Schwellwert-Entscheidungsein¬ heit zum Ermitteln einer Eindeutigkeit eines Beleuchtungswin¬ kels und damit der Beleuchtungsverhältnisse vorgesehen wer- den, wobei bei fehlender Eindeutigkeit die virtuelle Licht¬ führung für die virtuellen Objekte abgeschaltet wird bzw. keine virtuellen Schatten- und/oder virtuellen- Aufhellberei¬ che im Bild der Anzeigeeinheit erzeugt werden. Insbesondere bei sehr diffusen Lichtverhältnissen bzw. bei einer Vielzahl von gleichwertigen im Raum angeordneten Lichtquellen kann da¬ durch eine fehlerhafte virtuelle Lichtführung verhindert wer¬ den, wodurch sich wiederum eine sehr realitätsnahe Darstel¬ lung von virtuellen Objekten ermöglichen lässt.
Die vorliegende Erfindung wurde anhand eines mobilen Telekom¬ munikationsendgeräts wie beispielsweise eines Handys H be¬ schrieben. Sie ist jedoch nicht darauf beschränkt und umfasst in gleicher Weise auch andere mobile Endgeräte wie beispiels¬ weise PDAs (Personal Digital Aassistant) . Sie kann ferner auch auf stationäre Augmented-Reality-Systeme angewendet wer¬ den. Ferner wurde die vorliegende Erfindung anhand einer ein- zigen Lichtquelle wie beispielsweise einer Glühbirne oder ei¬ ner Sonne beschrieben. Die Erfindung ist jedoch nicht darauf beschränkt, sondern umfasst in gleicher Weise auch andere Haupt-Lichtquellen, die sich aus einer Vielzahl von Licht¬ quellen oder andersartigen Lichtquellen zusammensetzen kann. Ferner wurde die Erfindung anhand von zwei oder drei licht¬ empfindlichen Sensoren zur Ermittlung eines Beleuchtungswin¬ kels beschrieben. Sie ist jedoch nicht darauf beschränkt, sondern umfasst in gleicher Weise auch Systeme mit einer Vielzahl von lichtempfindlichen Sensoren, die beliebig zur Aufnahmeeinheit AE und deren optischen Achse OA positioniert und ausgerichtet werden können.

Claims

Patentansprüche
1. Vorrichtung zur Lichtführung in einem Augmented-Reality- System mit einer Aufnahmeeinheit (AE) , welche eine optische Achse (OA) aufweist, zum Aufnehmen eines realen Objekts (RO, RS) ; einer Anzeigeeinheit (I) zum Anzeigen des aufgenommenen rea¬ len Objekts; und einer Datenverarbeitungseinheit zum Erzeugen eines virtuellen Objekts (VO) in der Anzeigeeinheit (I), g e k e n n z e i c h n e t d u r c h zumindest zwei lichtempfindliche Sensoren (S) mit jeweils ei¬ nem vorbekannten Sensor-Richtdiagramm (RD) , die hinsichtlich der Aufnahmeeinheit (AE) und ihrer optischen Achse (OA) je- weils eine vorbekannte Sensor-Positionierung und Sensor- Ausrichtung aufweisen, wobei die Datenverarbeitungseinheit auf der Grundlage der vorbekannten Sensor-Positionierung (d) , der Sensor-Ausrichtung (SA) und der Eigenschaften des Sensor- Richtdiagramms (RD) sowie eines erfassten Sensor-Ausgangs- Signals (SSl, SS2) einen Beleuchtungswimpel (α) in Bezug auf die optische Achse (OA) der Aufnahmeeinheit (OA) ermittelt und in Abhängigkeit vom Beleuchtungswinkel (α) in der Anzei¬ geeinheit (I) die Lichtführung für das virtuelle Objekt (VO) durchgeführt wird.
2. Vorrichtung nach Patentanspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass beim Durchführen der Lichtführung ein virtueller Schatten- (VS) und/oder ein virtueller Aufhellbereich (VA) für das virtuelle Objekt (VO) im Bild der Anzeigeeinheit (I) eingefügt wird.
3. Vorrichtung nach einem der Patentansprüche 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, dass ein eindi¬ mensionaler Beleuchtungswinkel (<x; αγ, α3) durch Verhältnis- bildung von zwei Sensor-Ausgangssignalen (SSl, SS2) unter Be¬ rücksichtigung des jeweiligen Richtdiagramms (RDl, RD2) er¬ mittelt wird.
4. Vorrichtung nach Patentanspruch 3, d a d u r c h g e k e n n z e i c h n e t, dass ein räum¬ licher Beleuchtungswinkel durch Triangulierung von zwei ein- dimensionalen Beleuchtungswinkeln (αy, αz) ermittelt wird.
5. Vorrichtung nach einem der Patentansprüche 1 bis 4, g e k e n n z e i c h n e t d u r c h eine Erfassungsein¬ heit zum Erfassen einer Farbtemperatur der vorliegenden Be- leuchtung und einer Analyseeinheit zum Analysieren der Farb¬ temperatur und zum Ermitteln einer Tages- oder Kunstlichtum¬ gebung.
6. Vorrichtung nach Patentanspruch 5, d a d u r c h g e k e n n z e i c h n e t, dass die Erfas¬ sungseinheit durch die Aufnahmeeinheit (AE) und die Analyse¬ einheit durch die Datenverarbeitungseinheit realisiert ist.
7. Vorrichtung nach einem der Patentansprüche 3 bis 6, g e k e n n z e i c h n e t d u r c h eine Zeitgeberein¬ heit zum Ausgeben einer Tageszeit, wobei ein räumlicher Be¬ leuchtungswinkel auf der Grundlage eines eindimensionalen Be¬ leuchtungswinkels und der ausgegebenen Tageszeit ermittelt wird.
8. Vorrichtung nach einem der Patentansprüche 1 bis 7, d a d u r c h g e k e n n z e i c h n e t, dass die Eigen¬ schaften der Richtdiagramme (RDl, RD2) der Sensoren (S) gleich sind.
9. Vorrichtung nach einem der Patentansprüche 1 bis 8, d a d u r c h g e k e n n z e i c h n e t, dass die Ab¬ stände der Sensoren (S) zueinander möglichst groß sind.
10. Vorrichtung nach einem der Patentansprüche 1 bis 9, d a d u r c h g e k e n n z e i c h n e t, dass die Be¬ stimmung des Beleuchtungswinkels in zeitlicher Abhängigkeit von der Aiifnahmeeinheit (AE) kontinuierlich durchgeführt wird.
11. Vorrichtung nach einem der Patentansprüche 1 bis 10, d a d u r c h g e k e n n z e i c h n e t, dass die Senso¬ ren <S) mit ihren vorbekannten Sensorausrichtungen (SAl, SA2) und Sensor-Richtdiagrammen (RDl, RD2) drehbar angeordnet sind.
12. Vorrichtung nach einem der Patentansprüche 1 bis 11, g e k e n n z e i c h n e t d u r c h eine Schwellwert- Entscheidungseinheit zum Ermitteln einer Eindeutigkeit eines Beleuchtungswinkels, wobei bei fehlender Eindeutigkeit die Lichtführung für das virtuelle Objekt (VO) abgeschaltet wird.
13. Verfahren zur Lichtführung in einem Augmented-Reality- System mit den Schritten a) Aufnehmen eines realen Objekts (RO, RS) mit einer Auf¬ nahmeeinheit (AE) , die eine optische Achse (OA) aufweist; b) Anzeigen des aufgenommenen realen Objekts an einer An¬ zeigeeinheit (I) ; c) Erzeugen eines virtuellen Objekts (VO) mit einer Daten¬ verarbeitungseinheit; d) Anzeigen des virtuellen Objekts (VO) an der Anzeigenein- heit (I); e) Erfassen einer Beleuchtung mit zumindest zwei lichtemp¬ findlichen Sensoren (S) , die jeweils ein vorbekanntes Sensor- Richtdiagramm, eine Sensor-Positionierung und eine Sensor- Ausrichtung (SAl, SA2) aufweisen, zur Ausgabe von Sensor- AusgangsSignalen (SSl, SS2); f) Ermitteln eines Beleuchtungswinkels (α) in Bezug auf die optische Achse (OA) der Aufnahmeeinheit (AE) unter Verwendung der Sensor-Ausgangssignale (SSl, SS2) und auf der Grundlage der Sensor-Positionierung, der Sensor-Ausrichtung (SAl, SA2) und der Eigenschaften der Sensor-Richtdiagramme (RDl, RD2) ; und g) Durchführen einer Lichtführung für das virtuelle Objekt (VO) in Abhängigkeit vom ermittelten Beleuchtungswinkel (α) .
14. Verfahren nach Patentanspruch 13, d a d u r c h g e k e n n z e i c h n e t, dass beim Durchführen der Lichtführung ein virtueller Schatten- (VS) und/oder ein virtueller Aufhellbereich (VA) für das virtuelle Objekt (VO) im Bild der Anzeigeeinheit (I) eingefügt wird.
15. Verfahren nach Patentanspruch 13 oder 14, d a d u r c h g e k e n n z e i c h n e t, dass in Schritt f) ein eindimensionaler Beleuchtungswinkel durch Verhältnis- bildung von zwei Sensor-Ausgangssignalen (SSl, SS2) ermittelt wird.
16. Verfahren nach Patentanspruch 15, d a d u r c h g e k e n n z e i c h n e t, dass in Schritt f) ein räumlicher Beleuchtungswinkel durch Triangulierung von zwei eindimensionalen Beleuchtungswinkeln (<xγ, ocz) ermittelt wird.
17. Verfahren nach einem der Patentansprüche 13 bis 16, d a d u r c h g e k e n n z e i c h n e t, dass eine Farb¬ temperatur der vorliegenden Beleuchtung zum Ermitteln einer Tages- oder Kunstlichtumgebung erfasst wird.
18. Verfahren nach Patentanspruch 17,. d a d u r c h g e k e n n z e i c h n e t, dass die Farb¬ temperatur von der Aufnahmeeinheit (AE) erfasst wird.
19. Verfahren nach einem der Patentansprüche 17 oder 18, d a d u r c h g e k e n n z e i c h n e t, dass ferner ei¬ ne Tageszeit erfasst wird, wenn eine TagesuchtUmgebung er¬ mittelt wurde, wobei ein räumlicher Beleuchtungswinkel auf der Grundlage von einem eindimensionalen Beleuchtungswinkel und der erfassten Tageszeit ermittelt wird.
20. Verfahren nach einem der Patentansprüche 13 bis 19, d a d u r c h g e k e n n z e i c h n e t, dass die Ab¬ stände der Sensoren (S) zueinander möglichst groß sind.
21. Verfahren nach einem der Patentansprüche 13 bis 20, d a d u r c h g e k e n n z e i c h n e t, dass die Be¬ stimmung des Beleuchtungswinkels in Abhängigkeit von der Auf¬ nahmeeinheit (AE) kontinuierlich durchgeführt wird.
22. Verfahren nach einem der Patentansprüche 13 bis 21, d a d u r c h g e k e n n z e i c h n e t, dass die Senso¬ ren (Sl, S2) mit ihren vorbekannten Richtdiagrammen (RDl, RD2) und Sensor-Ausrichtungen (SAl, SA2) drehbar angeordnet sind.
PCT/EP2005/053194 2004-10-13 2005-07-05 Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system Ceased WO2006040200A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007536129A JP2008516352A (ja) 2004-10-13 2005-07-05 強化現実システムにおける照明シミュレーションおよび影シミュレーションのための装置および方法
US11/665,358 US20080211813A1 (en) 2004-10-13 2005-07-05 Device and Method for Light and Shade Simulation in an Augmented-Reality System
EP05778974A EP2057445A1 (de) 2004-10-13 2005-07-05 Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04024431.1 2004-10-13
EP04024431 2004-10-13

Publications (1)

Publication Number Publication Date
WO2006040200A1 true WO2006040200A1 (de) 2006-04-20

Family

ID=34926981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/053194 Ceased WO2006040200A1 (de) 2004-10-13 2005-07-05 Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system

Country Status (5)

Country Link
US (1) US20080211813A1 (de)
EP (1) EP2057445A1 (de)
JP (1) JP2008516352A (de)
TW (1) TW200614097A (de)
WO (1) WO2006040200A1 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009106030A1 (de) * 2008-02-29 2009-09-03 Navigon Ag Verfahren zum betrieb einer navigationseinrichtung
WO2009141497A1 (en) * 2008-05-22 2009-11-26 Nokia Corporation Device and method for displaying and updating graphical objects according to movement of a device
JP2010008289A (ja) * 2008-06-27 2010-01-14 Sharp Corp 携帯端末装置
WO2013098565A1 (en) 2011-12-29 2013-07-04 Lifescan Scotland Limited Accurate analyte measurements for electrochemical test strip based on sensed physical characteristic(s) of the sample containing the analyte and derived biosensor parameters
EP2803987A1 (de) 2013-05-17 2014-11-19 Lifescan Scotland Limited Genaue Analytmessungen für elektrochemische Teststreifen basierend auf mehreren Kalibrationsparametern
US9157883B2 (en) 2013-03-07 2015-10-13 Lifescan Scotland Limited Methods and systems to determine fill direction and fill error in analyte measurements
US9243276B2 (en) 2013-08-29 2016-01-26 Lifescan Scotland Limited Method and system to determine hematocrit-insensitive glucose values in a fluid sample
US9459231B2 (en) 2013-08-29 2016-10-04 Lifescan Scotland Limited Method and system to determine erroneous measurement signals during a test measurement sequence
DE102016006855A1 (de) 2016-06-04 2017-12-07 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797352B2 (en) * 2005-08-09 2014-08-05 Total Immersion Method and devices for visualising a digital model in a real environment
US8930834B2 (en) * 2006-03-20 2015-01-06 Microsoft Corporation Variable orientation user interface
US8139059B2 (en) * 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US9171399B2 (en) * 2013-03-12 2015-10-27 Autodesk, Inc. Shadow rendering in a 3D scene based on physical light sources
JP2011513871A (ja) * 2008-03-10 2011-04-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル画像を修正する方法及び装置
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US8797321B1 (en) 2009-04-01 2014-08-05 Microsoft Corporation Augmented lighting environments
US8405658B2 (en) * 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8502659B2 (en) 2010-07-30 2013-08-06 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
US8519844B2 (en) * 2010-07-30 2013-08-27 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
US8493206B2 (en) 2010-07-30 2013-07-23 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
US9164581B2 (en) 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8854802B2 (en) 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
US9489102B2 (en) 2010-10-22 2016-11-08 Hewlett-Packard Development Company, L.P. System and method of modifying lighting in a display system
US20120135783A1 (en) * 2010-11-29 2012-05-31 Google Inc. Mobile device image feedback
KR20120057799A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대단말에서 사전 기능 제공 방법 및 장치
JP2012120067A (ja) * 2010-12-03 2012-06-21 Brother Ind Ltd シースルー型画像表示装置およびシースルー型画像表示方法
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9449427B1 (en) 2011-05-13 2016-09-20 Amazon Technologies, Inc. Intensity modeling for rendering realistic images
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
JP2015501984A (ja) 2011-11-21 2015-01-19 ナント ホールディングス アイピー，エルエルシー 加入請求書サービス、システムおよび方法
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US11073959B2 (en) 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
KR20140122458A (ko) * 2013-04-10 2014-10-20 삼성전자주식회사 휴대 단말 장치의 화면 표시 방법 및 장치
US9466149B2 (en) * 2013-05-10 2016-10-11 Google Inc. Lighting of graphical objects based on environmental conditions
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10096296B2 (en) 2013-11-13 2018-10-09 Red Hat, Inc. Temporally adjusted application window drop shadows
CN103793063B (zh) * 2014-03-11 2016-06-08 哈尔滨工业大学 多通道增强现实系统
CN106133796B (zh) 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
CN104123743A (zh) * 2014-06-23 2014-10-29 联想(北京)有限公司 图像阴影添加方法及装置
US20160293142A1 (en) * 2015-03-31 2016-10-06 Upton Beall Bowden Graphical user interface (gui) shading based on context
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN108320320B (zh) * 2018-01-25 2021-04-20 重庆爱奇艺智能科技有限公司 一种信息显示方法、装置及设备
US11302067B2 (en) * 2018-08-31 2022-04-12 Edx Technologies, Inc. Systems and method for realistic augmented reality (AR) lighting effects
US11189061B2 (en) 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
US11216665B2 (en) * 2019-08-15 2022-01-04 Disney Enterprises, Inc. Representation of real-world features in virtual space
EP4058993A4 (de) 2019-12-06 2023-01-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Lichtquellendetektion für technologien mit erweiterter realität

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE9418382U1 (de) * 1994-11-16 1996-03-21 Smit, Michael, 50997 Köln Mischbildgenerator
EP0982600A2 (de) * 1998-08-25 2000-03-01 DaimlerChrysler AG Einrichtung zur Bestimmung des Einfallwinkels einer Lichtquelle, insbesondere der Sonne
US20020191003A1 (en) * 2000-08-09 2002-12-19 Hobgood Andrew W. Method for using a motorized camera mount for tracking in augmented reality

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02115708A (ja) * 1988-10-25 1990-04-27 Matsushita Electric Ind Co Ltd 入射光源方向判定追尾装置
JP2606818Y2 (ja) * 1993-10-15 2001-01-29 カルソニックカンセイ株式会社 自動車用日射検出センサ
DE4423778A1 (de) * 1994-06-30 1996-01-04 Christian Steinbrucker Meßsystem mit vier photosensitiven Komponenten zum Bestimmen des räumlichen Fehlwinkels einer punktförmigen Lichtquelle bezogen auf eine Grundflächennormale
JP3671478B2 (ja) * 1995-11-09 2005-07-13 株式会社デンソー 車両の日射検出装置及び車両用空気調和装置
JP3486575B2 (ja) * 1999-08-31 2004-01-13 キヤノン株式会社 複合現実感提示装置およびその方法並びに記憶媒体
US7071898B2 (en) * 2002-07-18 2006-07-04 Information Decision Technologies, Llc Method for using a wireless motorized camera mount for tracking in augmented reality
JP2003287434A (ja) * 2002-01-25 2003-10-10 Iwane Kenkyusho:Kk 画像情報検索システム
US7042421B2 (en) * 2002-07-18 2006-05-09 Information Decision Technologies, Llc. Method for advanced imaging in augmented reality
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE9418382U1 (de) * 1994-11-16 1996-03-21 Smit, Michael, 50997 Köln Mischbildgenerator
EP0982600A2 (de) * 1998-08-25 2000-03-01 DaimlerChrysler AG Einrichtung zur Bestimmung des Einfallwinkels einer Lichtquelle, insbesondere der Sonne
US20020191003A1 (en) * 2000-08-09 2002-12-19 Hobgood Andrew W. Method for using a motorized camera mount for tracking in augmented reality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2057445A1 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009106030A1 (de) * 2008-02-29 2009-09-03 Navigon Ag Verfahren zum betrieb einer navigationseinrichtung
WO2009141497A1 (en) * 2008-05-22 2009-11-26 Nokia Corporation Device and method for displaying and updating graphical objects according to movement of a device
JP2010008289A (ja) * 2008-06-27 2010-01-14 Sharp Corp 携帯端末装置
US9638656B2 (en) 2011-12-29 2017-05-02 Lifescan Scotland Limited Accurate analyte measurements for electrochemical test strip based on multiple discrete measurements defined by sensed physical characteristic(s) of the sample containing the analyte
WO2013098565A1 (en) 2011-12-29 2013-07-04 Lifescan Scotland Limited Accurate analyte measurements for electrochemical test strip based on sensed physical characteristic(s) of the sample containing the analyte and derived biosensor parameters
US9903831B2 (en) 2011-12-29 2018-02-27 Lifescan Scotland Limited Accurate analyte measurements for electrochemical test strip based on sensed physical characteristic(s) of the sample containing the analyte and derived biosensor parameters
US9157883B2 (en) 2013-03-07 2015-10-13 Lifescan Scotland Limited Methods and systems to determine fill direction and fill error in analyte measurements
EP2987554A1 (de) 2013-03-07 2016-02-24 Lifescan Scotland Limited Verfahren und systeme zur bestimmung von füllrichtung und füllfehlern bei analytmessungen
EP2803987A1 (de) 2013-05-17 2014-11-19 Lifescan Scotland Limited Genaue Analytmessungen für elektrochemische Teststreifen basierend auf mehreren Kalibrationsparametern
US10371660B2 (en) 2013-05-17 2019-08-06 Lifescan Ip Holdings, Llc Accurate analyte measurements for electrochemical test strip based on multiple calibration parameters
US9243276B2 (en) 2013-08-29 2016-01-26 Lifescan Scotland Limited Method and system to determine hematocrit-insensitive glucose values in a fluid sample
US9459231B2 (en) 2013-08-29 2016-10-04 Lifescan Scotland Limited Method and system to determine erroneous measurement signals during a test measurement sequence
DE102016006855A1 (de) 2016-06-04 2017-12-07 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
DE102016006855B4 (de) 2016-06-04 2024-08-08 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem

Also Published As

Publication number Publication date
JP2008516352A (ja) 2008-05-15
EP2057445A1 (de) 2009-05-13
US20080211813A1 (en) 2008-09-04
TW200614097A (en) 2006-05-01

Similar Documents

Publication Publication Date Title
WO2006040200A1 (de) Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system
DE69831181T2 (de) Positionsbestimmung
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
CN110488165B (zh) 一种雷击放电综合分析方法、装置、终端设备及存储介质
DE10058244C2 (de) Messverfahren zur Ermittlung der Position eines Objektes vor einem Bildschirm und Vorrichtung zur Durchführung des Verfahrens
DE69116270T3 (de) Verfahren und vorrichtung zur bestimmung der position von mindestens einer anschlussfahne eines elektronischen bauelements
DE112017000017T5 (de) Kameraeinstellungsanpassung basierend auf vorhergesagten umgebungsfaktoren und nachverfolgungssysteme, die diese einsetzen
DE102010051602B4 (de) Verfahren zur Erfassung von Merkmalen in der Umgebung
DE602004001500T2 (de) Apparat für dreidimensionale Messungen
EP2400261A1 (de) Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
CH695121A5 (de) Verfahren und Anordnung zur Durchführung von geodätischen Messungen mittels Videotachymeter.
DE102013211492A1 (de) Bestimmung eines Messfehlers
WO2002006851A1 (de) Verfahren zur sichtweitenbestimmung
DE4212404B4 (de) Vorrichtung und Verfahren zur Bestimmung der räumlichen Form eines langgestreckten Bauteils
DE202013011910U1 (de) Vermessungssystem zur Vermessung von Gliedmaßen
DE112017001464B4 (de) Abstandsmessvorrichtung und Abstandsmessverfahren
DE112004001034T5 (de) 3D- und 2D-Meßsystem und -verfahren mit erhöhter Sensitivität und erhöhtem Dynamikbereich
Kurnia et al. Visual comfort assessment using high dynamic range images under daylight condition in the main library building of Institut Teknologi Bandung
EP1735749A2 (de) Verfahren zur rotationskompensation sphärischer bilder
DE102008023439A1 (de) Augmented Reality Fernglas zur Navigationsunterstützung
DE102021118175A1 (de) Umgebungserfassungsvorrichtung für ein Fahrzeug
EP1533629A2 (de) Entfernungsmessung mit einem mobilen Endgerät
DE102012109105A1 (de) Verfahren zur Echt-Zeit-Drehung flächentreuer Projektionen radialer Eigenschaftsverteilungen
DE102011078052B4 (de) Erfassung der Oberflächenstruktur einer Objekt-Oberfläche
EP3712696B1 (de) Vorrichtung und verfahren zum optimieren von eigenschaften einer fotografischen aufnahme

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005778974

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007536129

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11665358

Country of ref document: US