EP1735749A2 - Verfahren zur rotationskompensation sphärischer bilder - Google Patents

Verfahren zur rotationskompensation sphärischer bilder

Info

Publication number
EP1735749A2
EP1735749A2 EP05735021A EP05735021A EP1735749A2 EP 1735749 A2 EP1735749 A2 EP 1735749A2 EP 05735021 A EP05735021 A EP 05735021A EP 05735021 A EP05735021 A EP 05735021A EP 1735749 A2 EP1735749 A2 EP 1735749A2
Authority
EP
European Patent Office
Prior art keywords
camera
rotation
pixel
matrices
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05735021A
Other languages
English (en)
French (fr)
Inventor
Reinhard Koch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kiel University
Original Assignee
Kiel University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kiel University filed Critical Kiel University
Publication of EP1735749A2 publication Critical patent/EP1735749A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the invention relates to a method for computer-aided stabilization of images, in particular of electronically recorded images (for example with a Nideo camera), in relation to rotations of the camera about an arbitrary axis by arbitrarily large angles.
  • the invention also relates to image recording systems with a fisheye lens for (semi) spherical images, in particular also cameras with a 360 ° all-round view.
  • Examples of devices of the first category are described in the publications DE 43 42 717 AI or DE 196 18 979 AI. These are also particularly suitable for compensating for camera shake when shooting on film material.
  • a camera it is known to equip a camera with a permanently mounted acceleration gyro sensor in order to record the rotation of the camera in addition to images (for example Suya You, Ulrich Neumann, and Ronald Azuma: Orientation Tracking for Outdoor Augmenten Reality Registration. IEEE Computer Graphics and Applications 19, 6 (Nov / Dec 1999), 36-42).
  • the rotation sensor uses an accelerometer (gyroscope principle) to measure the relative change in the 3D orientation between different recording times.
  • other absolute measurement parameters such as magnetic north pole and gravitation (plumb) can be used to generate an absolute orientation reference.
  • An absolute 3D orientation is determined by integrating the relative change over time.
  • the rotation of the sensor can be described by three angles (Rx, Ry, Rz) around the three spatial axes (X, Y, Z) (Euler angle, see Fig. 1 a) or by rotation around an axis of rotation in space ( 1b, axis-angle representation (A, ⁇ ), also: quaternion representation).
  • a hemispherical image recording system is also known, in particular a camera with a fisheye lens.
  • This maps a hemisphere of the room onto a circular disk in the image plane.
  • the 2D image representation takes place in the angular coordinates above the standard hemisphere.
  • the center of the picture shows the pole of the hemisphere.
  • the sphere surface is parameterized by two angles, which run along the longitude ( ⁇ ) and latitude ( ⁇ ) of the sphere (cf. Fig. 2 a).
  • a point ( ⁇ , ⁇ ) on the spherical surface is defined by the spherical mical image on the image plane (x, y), where (xo, yo) depicts the pole (optical axis) (cf. FIG. 2 b).
  • a spherical image recording system is also known, for example, from US Pat. No. 6,002,430, which images the entire surrounding space in that two hemispherical cameras mounted with their backs to one another each record a half space. Due to the non-zero distance between the two camera centers, it makes sense to use fisheye lenses with e.g. Use a 190 ° angle of view to seamlessly combine the two images into a complete all-round image. Nevertheless, there is always (i) a "dead zone" of the device in the immediate vicinity of the double camera, which cannot be viewed, and (ii) a "near zone" in which the parallax shift of the two cameras is noticeable. For scene points that are sufficiently far away, the center of the cara is practically irrelevant.
  • augmented vision In the area of so-called "augmented vision", efforts are made to display additional information in their field of vision, for example for complex work steps.
  • people are equipped with transparent display glasses that can display text or graphics in a real view, comparable to that well-known head-up display (HUD) from military aircraft, in order to automatically determine the required precise knowledge of the position of the glasses in 3D space, all-round view cameras can be rigidly connected to the glasses Marking points in the recorded image make it possible to determine the position of the glasses in the work area, but in order to be able to do without such markings, for example for outdoor use, much more complex image analyzes are required.
  • HUD head-up display
  • FIG. 1 shows possible representations of the camera rotations, FIG. 1 a) with Euler angles, FIG. 1 b) in an axis-angle representation,
  • FIG. 2a shows a sketch of the hemispherical geometry
  • 3 shows a schematic course of the calibration function k ( ⁇ ) of a fisheye lens.
  • a basic requirement for carrying out the method according to the invention is the rigid coupling of a spherical camera with a 3 DoF (Degree of Freedom) rotation sensor.
  • a 3 DoF (Degree of Freedom) rotation sensor To simplify the explanation, only a single fisheye camera is depicted below, which 1 depicts a hemisphere.
  • the method is used simultaneously for both cameras, and the images stabilized according to the invention are then combined in a manner known per se.
  • the pixel plane of the camera requires a two-dimensional coordinate system in 3D space.
  • the orientation of the pixel plane is arbitrary.
  • Technical CCD chips show usually rectangular pixels in a rectangular arrangement, so the Cartesian coordinate system (x, y) is the natural choice. Its origin typically lies in a corner pixel.
  • the spherical projection of the fisheye shows object points on a hemisphere (e.g. with a radius of one) around the camera center on a circular disk in the pixel plane.
  • the natural coordinates of the image are then plane polar coordinates (r, ⁇ ).
  • the optical axis of the camera should run perpendicular to the pixel plane through a central pixel with coordinates (x 0 , y 0 ).
  • Each object point on the hemisphere appears at an angle ⁇ to the optical axis and is also characterized by its azimuth position ⁇ .
  • Fig. 3 shows an example of the calibration function k ( ⁇ ), which specifies the respective conversion factor from angle (e.g. Radian) to pixel coordinates and must be determined once for each lens.
  • the spherical image can be described by the polar coordinates ( ⁇ , ⁇ ) because of the linearity mentioned above. ;
  • an object point on the hemisphere has the pixel coordinates at the coordinates ( ⁇ , ⁇ ) in the pixel plane:
  • the angular coordinates of the object change, for example from
  • the principle of the image stabilization according to the invention consists in the direct calculation of the coordinate shifts (xp, yp) - »(xp ', yp') for all pixels from additional rotation data and in their reversal by copying the color values from (xp ', yp') back to (xp, y P ). This copying is now implemented in all common graphics cards and optimized for real-time applications, for example for rotating a virtual camera in a computer-generated room.
  • the invention therefore deals solely with the mapping (xp, yp) - »(xp ', yp'), which is to be determined quickly from the data of a rotation sensor. Since the camera rotation can be described in a natural way by means of a 3x3 rotation matrix, it makes sense to formulate the problem three-dimensionally, for which a z-axis along the optical axis, ie perpendicular to the pixel plane, is additionally defined. Likewise, a z 'axis is introduced in the rotated camera coordinate system and one can write
  • M M ( ⁇ '. ⁇ ', ⁇ , ⁇ ) denotes a 3x3 matrix that depends on the new and old angular coordinates of the object point on the hemisphere after and before the camera rotation.
  • the invention now shows a way to get this matrix quickly, which is essential for real-time stabilization of the image.
  • Equations (1) can be summarized as a matrix equation
  • K is a 3x3 calibration matrix (with calibration function k ( ⁇ )) and p t is the standard representation of the pixel point (xp, yp) in the polar coordinates ( ⁇ , ⁇ ).
  • the matrix K has to be set up and saved only once for all ⁇ . It is always invertible, and the standard representation
  • a 360 ° all-round view could be depicted on a single circular disk, but this would have disadvantages because of the associated distortions.
  • the rotation sensor When the camera is rotated, the rotation sensor immediately delivers measurement data for the angles rotated around each axis with typical clock rates of 100-200 measurements per second, an angular resolution of typically 0.05 degrees and a short-term accuracy of 0.1-0.3 degrees. From this, a 3x3 rotation matrix can be set up immediately in a manner known per se, which allows the coordinate transformation of any point in space into the now rotated coordinate system which is connected to the camera. This also applies to every object point of the unit sphere, especially for P. It has the representation in the rotated coordinate system
  • the image stabilization is to take place particularly quickly or if very large images are to be stabilized, it is an advantageous embodiment of the method according to the invention not to carry out the mapping for all pixels but only for a selection from these. If, in particular, one selects the nodes of a triangular mesh network (“triangular mesh”), only these network points are initially copied back, but modern graphi-d types also have a so-called “fragment Shader ", which can interpolate color values between known support points. This is typically used in the texturing of computer graphics. In many applications (especially in the field of human vision), pixel-precise stabilization of the image is not important, so that the reduction of the Procedure can bring high speed advantages to a few network nodes.>

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Verfahren zum Erzeugen einer die vereinfachte Rekonstruktion der Translation einer Kamera erlaubenden rotationskompensierten Bildsequenz durch Echtzeit-Rotationskompensation der von einer mit einem Rotationssensor versehenen, in einer Szene beliebig bewegten elektronischen Kamera sequentiell aufgenommenen Bilder, die sich durch eine Zuordnung von Farb- und/oder Helligkeitswerten der durch rechtwinklige Koordinaten indizierten Pixel eines Pixelfeldos der Kamera ergeben, mit den folgenden Schritten: - Verwenden eines sphäriscllien Objektivs (Fischauge), - Bestimmen von Kalibriernatrizen für das sphärische Objektiv, - Berechnen von die aus den Messdaten des Rotationssensors ermittelte relative Verdrehung der Kamera beschreibenden Drehmatrizen, - Berechnen der Zuordnung zwischen den Pixelkoordinaten eines Bildpunkts in aufeinander folgenden Bildern aus den Kalibriermatrizen und den Drehmatrizen und Berechnen der Pixelkoor4inaten entsprechend der berechneten Zuordnung unter Kompensation der Kamerarotation.

Description

Verfahren zur Rotationskompensation sphärischer Bilder
Die Erfindung betrifft ein Verfahren zur rechnergestützten Stabilisierung von Bildern, insbe- sondere von elektronisch aufgezeichneten Bildern (z.B. mit einer Nideokamera), gegenüber Verdrehungen der Kamera um eine beliebige Achse um beliebig große Winkel. Die Erfindung betrifft auch Bildaufhahmesysteme mit einem Fischaugen-Objektiv (engl. „fisheye") für (halb-)sphärische Bilder, insbesondere auch Kameras mit 360°-Rundumsicht.
Verfahren zur elektronischen Bildstabilisierung sind bekannt und lassen sich grob in zwei Kategorien unterscheiden: (i) Kompensationsvorrichtungen für die Kamera selbst oder für den Lichtweg vom Objekt zum Kameraschirm und (ii) die rechnergestützte Korrektur der aufgezeichneten Bilder, was i. a. eine elektronische Erfassung der Bilder voraussetzt und Nachbearbeitung erfordert.
Beispiele für Vorrichtungen der ersten Kategorie sind in den Druckschriften DE 43 42 717 AI oder DE 196 18 979 AI beschrieben. Diese eignen sich insbesondere auch zur Kompensation von Verwacklungen bei Auftlahmen auf Filmmaterial.
Mit modernen Digitalkameras und mittlerweile gestiegener Rechnerleistung kommt aber auch der zweiten Kategorie praktische Bedeutung zu. Bestehende Verfahren zur Verwacklungs- kompensation, wie etwa die elektronische Bildstabilisierung in HandyCams, können aufgrund des begrenzten Öfrhungswinkels perspektivischer Kameras nur geringfügige Kompensationen durchfuhren, wobei das Bild aufgrund der perspektivischen Transformation verzerrt wird. Bei einem Schwenk über mehr als den Öf-hungswinkel der Kamera kann keine Kompensation mehr durchgeführt werden. Es ist eine grundsätzliche Schwierigkeit der elektronischen Nachbearbeitung, dass ein reales Bild einer (dreidimensionalen) Szene lediglich von einer zweidimensionalen Pixelanordnung erfasst wird. Um allein aus einer Sequenz von Bildern auf eine zwischenzeitlich erfolgte Rotation oder Translation der Kamera zurück zu schließen, ist eine numerische Rekonstruktion der 3D-Szene erforderlich, die sich auch heute nicht ohne größeren Aufwand, insbesondere in Echtzeit, bewerkstelligen lässt.
Man zieht deshalb bei der Szenenrekonstruktion manchmal zusätzliche externe Sensorik als Hilfsmittel hinzu. Beispielsweise ist bekannt, eine Kamera mit einem fest montierten Be- schleunigungs-Gyro-Sensor auszustatten, um neben Bildern auch gleichzeitig die Rotation der Kamera aufzuzeichnen (z.B. Suya You, Ulrich Neumann, and Ronald Azuma: Orientation Trackingfor Outdoor Augmenten Reality Registration. IEEE Computer Graphics and Applications 19, 6 (Nov/Dec 1999), 36-42). Der Rotationssensor misst durch Beschleunigungsmesser (Gyroskop-Prinzip) die relative Änderung der 3D Orientierung zwischen unterschied- liehen Aufoahmezeitpunkten. Zusätzlich können weitere absolute Messgrößen wie magnetischer Nordpol und Gravitation (Lot) zur Erzeugung einer absoluten Orientierungsreferenz mit verwendet werden. Durch Integration der relativen Änderung über die Zeit wird eine absolute 3D-Orientierung bestimmt. Die Rotation des Sensors kann durch drei Winkel (Rx, Ry, Rz) um die drei Raumachsen (X,Y,Z) beschrieben werden (Euler- Winkel, vgl. Fig. 1 a) oder durch eine Rotation um eine Drehachse im Raum (vgl. Fig. 1 b, Achse- Winkeldarstellung (A, α), auch: Quaternionen-Darstellung).
Auf diese Weise kann eine Entkopplung von Rotation und Translation der Kamera erreicht werden, d.h. beide lassen sich getrennt bestimmen.
Bekannt ist auch ein hemisphärisches Bildaufhahmesystem, insbesondere eine Kamera mit Fischaugen-Objektiv. Dieses bildet eine Hemisphäre des Raumes auf eine Kreisscheibe in der Bildebene ab. Die 2D-Bildrepräsentation erfolgt dabei in den Winkelkoordinaten über der Einheitshalbkugel. Die Bildmitte bildet den Pol der Hemisphäre ab. Die Kugeloberfläche wird durch zwei Winkel parametrisiert, welche entlang der Längengrade (θ) und Breitengrade (φ) der Kugel verlaufen (vgl. Fig. 2 a). Ein Punkt (θ, φ) der Kugeloberfläche wird durch die sphä- rische Abbildung auf die Bildebene (x, y) abgebildet, wobei (xo, yo) den Pol (optische Achse) abbildet (vgl. Fig. 2 b).
Beispielsweise aus der US 6 002 430 ist auch ein sphärisches Bildaufhahmesystem bekannt, das den gesamten umgebenden Raum abbildet, indem zwei mit dem Rücken zueinander montierte hemisphärische Kameras jeweils einen Halbraum aufnehmen. Aufgrund des von Null verschiedenen Abstandes der beiden Kamerazentren ist es dabei nahe liegend, Fischaugen- Objektive mit z.B. 190° Blickwinkel zu verwenden, um beide Bilder zu einem vollständigen Rundumbild nahtlos zusammensetzen zu können. Dennoch existieren stets (i) eine „Totzone" der Vorrichtung in unmittelbarer Nachbarschaft der Doppel-Kamera, die nicht eingesehen werden kann, sowie (ii) eine „Nahzone", in der sich die Parallaxenverschiebung der beiden Kameras bemerkbar macht. Für ausreichend weit entfernte Szenenpunkte spielt der Ka era- zentrenabstand indes praktisch keine Rolle mehr.
Im Bereich der so genannten „Augmented Vision" ist man bestrebt, Personen z.B. bei komplexen Arbeitsgängen zusätzliche Informationen in ihr Sichtfeld einzublenden. Man stattet die Personen dazu etwa mit transparenten Display-Brillen aus, die Texte oder Grafiken in eine Realansicht einblenden können, vergleichbar dem bekannten Head-Up Display (HUD) aus militärischen Flugzeugen. Um die dazu erforderliche genaue Kenntnis der Lage der Brille im 3D-Raum automatisch zu ermitteln, kann man Rundumsicht-Kameras starr mit der Brille verbinden. Die Echtzeit- Analyse z.B. der Bewegung von bekannten Markierungspunkten im aufgezeichneten Bild erlaubt die Positionsbestimmung der Brille im Arbeitsraum. Um aber - etwa für Außenanwendungeri - auf solche Markierungen verzichten zu können, sind wesentlich komplexere Bildanalysen erforderlich.
Dabei wird es hilfreich sein, Einflüsse von Rotation und Translation auf das Bild der a priori unbekannten Szene getrennt zu analysieren. Es liegt deshalb nahe, auch hier Rotationssensoren einzusetzen. Allerdings wurde bislang noch kein Verfahren veröffentlicht, wie die zusätzlichen Rotationsdaten zur Echtzeit-Rotationsstabilisierung des sphärischen Bildes zu benutzen sind. Es ist daher die Aufgabe der Erfindung, das elektronisch aufgezeichnete Bild einer sphärischen Kamera in Echtzeit so zu bearbeiten, dass es bei der Darstellung auf einem Sichtschirm (z.B. eines PC) gegenüber beliebigen Verdrehungen der Kamera invariant bleibt.
Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Unteransprüche geben vorteilhafte Ausgestaltungen an.
Die Erfindung wird anhand von Figuren erläutert. Dabei zeigen: Fig. 1 mögliche Darstellungen der Kameradrehungen, Fig. 1 a) mit Euler- Winkeln, Fig. 1 b) in Achse- Winkel-Darstellung,
Fig. 2a eine Skizze der hemisphärischen Geometrie; Fig. 2b des zweidimensionalen Abbildes der Fig. 2a mit Bezeichnungen der hier benutzten Koordinaten, und
Fig. 3 einen schematischen Verlauf der Kalibrierfunktion k(θ) eines Fischauge- Objektivs.
Grundsätzliche Voraussetzung zur Durchführung des erfindungsgemäßen Verfahrens ist die starre Kopplung einer sphärischen Kamera mit einem 3 DoF (Degree of Freedom) Rotationssensor. I Zur vereinfachten Erläuterung soll im Folgenden nur noch von einer einzelnen Fischaugen- Kamera die Rede sein, die1 eine Hemisphäre abbildet. Zur Rundumsicht wird das Verfahren für beide Kameras simultan angewendet, und die erfindungsgemäß stabilisierten Bilder werden dann in an sich bekannter Weise zusammengefügt.
Die Pixelebene der Kamera erfordert ein zweidimensionales Koordinatensystem im 3D- Raum. Die Orientierung der Pixelebene ist dabei beliebig. Technische CCD-Chips weisen normalerweise rechteckige Pixel in rechtwinkliger Anordnung auf, so dass das kartesische Koordinatensystem (x, y) die natürliche Wahl ist. Sein Ursprung liegt typisch in einem Eckpixel.
Durch die sphärische Projektion des Fischauges werden Objektpunkte auf einer Halbkugel (o. B. d. A. mit Radius Eins) um das Kamerazentrum auf eine Kreisscheibe in der Pixelebene abgebildet. Die natürlichen Koordinaten des Bildes sind dann ebene Polarkoordinaten (r, φ). Die optische Achse der Kamera soll senkrecht zur Pixelebene durch einen zentralen Pixel mit Koordinaten (x0, y0) verlaufen. Jeder Objektpunkt auf der Halbkugel erscheint unter einem Winkel θ zur optischen Achse und ist zudem durch seine Azimutposition φ gekennzeichnet. Die Festlegung von φ = 0 ist dabei willkürlich.
Die Besonderheit der Fischaugen-Projektion besteht darin, dass der Winkel θ im idealen Fall linear auf den Radius der Kreisscheibe abgebildet wird. Dies ist in Praxis für kleine Winkel sehr gut erfüllt, aber für ö -» 90° wird die Abbildung typisch nicht-linear. Fig. 3 zeigt exemplarisch die Kalibrierfiinktion k(θ), die den jeweiligen Umrechnungsfaktor von Winkel (z.B. Radian) auf Pixelkoordinaten angibt und für jedes Objektiv einmal zu bestimmen ist.
Das sphärische Bild kann wegen der oben genannten Linearität durch die Polarkoordinaten (θ, φ) beschrieben werden. ;
Lässt man die Problematik diskreter Pixel außer acht, so besitzt ein Objel-tpunkt auf der Halbkugel bei den Koordinaten (θ, φ) in der Pixelebene die Pixelkoordinaten:
(1) xP = x0 + k(&)x &cos(φ) und yP = yQ +k(3)x3sin(φ)
Ändern sich nun bei einer Drehung der Kamera die Winkelkoordinaten des Objekts, etwa von
(θ, φ) nach (θ', φ'), so wandert auch das Bild des Objekts von (xp, yp) nach (xp', yp')- Ver- i lässt es dabei die zulässigen Pixelkoordinaten des CCD-Chips, so ist das Objekt durch die Kameradrehung aus dem Blickfeld geraten. Es ist dann aber sicher im Blickfeld der zweiten, rückwärts gerichteten Kamera. Das Prinzip der erfindungsgemäßen Bildstabilisierung besteht in der direkten Berechnung der Koordinatenverschiebungen (xp, yp) -» (xp', yp') für alle Bildpunkte aus zusätzlichen Rotationsdaten sowie in deren Rückgängigmachen durch Umkopieren der Farbwerte von (xp', yp') zurück nach (xp, yP). Dieses Umkopieren ist heute in allen gängigen Graphikkarten implemen- tiert und für Echtzeitanwendungen optimiert, z.B. zum Rotieren einer virtuellen Kamera in einem rechnergenerierten Raum.
Die Erfindung befasst sich daher allein mit der Abbildung (xp, yp) — » (xp', yp'), die es schnell aus den Daten eines Rotationssensors zu bestimmen gilt. Da die Kameradrehung in natürli- eher Weise durch eine 3x3-Drehmatrix beschrieben werden kann, ist es sinnvoll, das Problem dreidimensional zu formulieren, wofür man zusätzlich eine z-Achse entlang der optischen Achse, also senkrecht zur Pixelebene, definiert. Ebenso wird eine z' -Achse im gedrehten Kamerakoordinatensystem eingeführt, und man kann schreiben
Dabei bezeichnet M = M(θ'.φ',θ,φ) eine 3x3-Matrix, die von den neuen und alten Winkelkoordinaten des Objektpunktes auf der Halbkugel nach und vor der Kameradrehung abhängt. Die Erfindung zeigt nun einen Weg auf, sich diese Matrix schnell zu verschaffen, was für die Echtzeitstabilisierung des Bildes wesentlich ist.
Die Gleichungen (1) lassen sich als Matrixgleichung zusammenfassen
wobei K eine 3x3-Kalibriermatrix (mit Kalibrierfunktion k(θ)) und pt die Normdarstellung des Pixelpunktes (xp, yp) in den Polarkoordinaten (θ, φ) ist. Die Matrix K ist nur einmal für alle θ aufzustellen und abzuspeichern. Sie ist immer invertierbar, und die Normdarstellung
hat den Vorteil, dass sich die 3D-Position P des zugehörigen Objektpunktes auf der Halbkugel unmittelbar aus den Winkelkoordinaten - und damit aus der Normdarstellung -angeben lässt. Gemäß der bekannten Definition sphärischer Polarkoordinaten für die Einheitskugel hat man nämlich #>
(5) φ A(&)pl
sin .9 mit si(3) = so dass A(θ) eine invertierbare Matrix für θ ≠ 90°, 180° ist. ~5~ :
Ohnehin ist der Fall θ = 180° hier durch die eingangs getroffene Festlegung auf eine hemisphärische Kamera ausgeschlossen. Zwar könnte man eine 360°-Rundumsicht auf eine einzige Kreisscheibe abbilden, aber dies hätte schon wegen der damit verbundenen Verzerrungen Nachteile. Insbesondere würde der rückwärtige Pol der Objektsphäre, also bei θ = 180°, auf den gesamten Rand der Kreisscheibe abgebildet werden.
Der Fall θ = 90° kann indes vorkommen, und er zieht wegen (A"1)^ = 1/cosθ eine nicht definierte (unendliche) Matrixkomponente nach sich. Die fragliche Komponente ist aber nur ein Artefakt der Beschreibung. Es kann bei der Implementierung abgefangen werden. Seine Herkunft wird weiter unten aufgezeigt. Es ist nach Aufstellen von Gleichung (5) besonders vorteilhaft, die exakt bekannte Matrixfunktion A(θ) von vornherein mit der nur einmal zu bestimmenden Matrix K_1(θ) zu multiplizieren und in einer Tabelle für alle θ abzuspeichern. Die Produktmatrix A K"1 ist ebenfalls invertierbar mit
und sollte genauso berechnet und tabelliert werden.
Bei der Kameradrehung liefert der Rotationssensor unmittelbar Messdaten für die um jede der Achsen gedrehten Winkel mit typischen Taktraten von 100-200 Messungen pro Sekunde, einer Winkelauflösung von typisch 0.05 Grad und einer Kurzzeitgenauigkeit von 0.1-0.3 Grad. Hieraus lässt sich sofort in an sich bekannter Weise eine 3x3 -Drehmatrix aufstellen, die die Koordinatentransformation eines beliebigen Raumpunktes in das nunmehr gedrehte - mit der Kamera verbundene - Koordinatensystem erlaubt. Dies gilt auch für jeden Objektpunkt der Einheitskugel, insbesondere für P . Im gedrehten Koordinatensystem besitzt er die Darstellung
(7) = RP
und da Gleichung (5) natürlich auch im gedrehten Koordinatensystem gilt, hat man
(8) pP = K(&)AXl (&)? = K(&)£1 (&)RA($)KXX (3)pP
Der Vergleich mit Gleichung (2) zeigt, dass die dort auftretende Matrix M mit dem Matrixprodukt in Gleichung (8) identisch ist. Dieses wird effektiv als Produkt aus drei 3x3-Matrizen für jeden Pixel berechnet - zwei tabellierten Matrizen und einer gemessenen Rotationsmatrix, die für das gesamte Bild zu einem festen Zeitpunkt gilt. Gleichiuig (8) erklärt auch, wie die unendliche Matrixkomponente (A"1)^ entsteht. Ein Ob- jektpunkt P' bei θ' = 90° befindet sich in der Ebene des Kamerazentrums, um das gedreht wurde, also bei P = 0. Gleichwohl soll sein
was nur geht, wenn (A"1)^: gegen Unendlich strebt. Die Wahl der z-Komponente Eins bei der Erhebung der Pixelkoordinaten in die dritte Dimension ist eine willkürliche, aber bequeme Festlegung in Gleichung (2). Sie verursacht das Beschreibungsproblem für θ' = 90°.
Das Ausführen von 3x3 -Matrixprodukten ist durch moderne Hardwareimplementierung heute mit sehr hoher Geschwindigkeit möglich. Durch Vorausberechnung des Mapping in Tabellen kann die Rotationskompensation des Bildes echtzeitfahig, d.h. schritthaltend mit der Taktrate der Bildaufhahme, durchgeführt werden. Typische Bildaufhahmeraten sind hierbei 15-30 Bil- der pro Sekunde.Mit Hilfe dieses Mapping lassen sich die Farbwerte aus ihren neuen Positionen auslesen und auf ihre alten zurückkopieren.
Bei einer Drehung der Kamera um das Kamerazentrum - in Abwesenheit von Kamera- Translation - ergibt sich so im Rechner und ggf. auf dem Monitor ein statisches, sphärisches Bild. Wird die Position des Kamerazentrums zusätzlich verändert, zeigt das Bild eine rotationsfreie Verschiebung der Szene, aus der sich der Translationszustand der Kamera vereinfacht rekonstruieren lässt. i
Wenn die Bildstabilisierung besonders schnell erfolgen soll oder wenn sehr große Bilder zu stabilisieren sind, ist es eine vorteilhafte Ausführungsform des erfindungsgemäßen Verfahrens, das Mapping nicht für alle Pixel, sondern nur für eine Auswahl aus diesen durchzuführen. Wählt man insbesondere die Knotenpunkte eines über das Bild gelegten Dreiecksmaschen-Netzes („triangulär mesh"), so werden zunächst zwar nur diese Netzpunkte zurückkopiert, aber moderne Graphi-d-arten verfügen auch über einen so genannten „Fragment- Shader", welcher Farbwerte zwischen bekannten Stützstellen interpolieren kann. Dies kommt typisch bei der Texturierung von Computergraphiken zum Einsatz. Bei vielen Anwendungen (gerade auch im Bereich des menschlichen Sehens) wird es auf die pixelgenaue Stabilisierung des Bildes nicht ankommen, so dass die Reduktion des Verfahrens auf wenige Netzknoten hohe Geschwindigkeitsvorteile bringen kann. >

Claims

Patentansprüche
1. Verfahren zum Erzeugen einer die vereinfachte Rekonstruktion der Translation einer Kamera erlaubenden rotationskompensierten Bildsequenz durch Echtzeit- Rotationskompensation der von einer mit einem Rotationssensor versehenen, in einer Szene beliebig bewegten elektronischen Kamera sequentiell aufgenommenen Bilder, die sich durch eine Zuordnung von Färb- und/oder Helligkeitswerten der durch rechtwinklige Koordinaten indizierten Pixel eines Pixelfeldes der Kamera ergeben, mit den Schritten:
Verwendung der Polarkoordinaten einer Fischaugen-Projektion eines sphärischen Bildes eines sphärischen Objektivs (Fischauge),
Bestimmen von Kalibriermatrizen für das sphärische Objektiv,
Berechnen von die aus den Messdaten des Rotationssensors ermittelte relative Verdrehung der Kamera beschreibenden Drehmatrizen,
Berechnen der Zuordnung zwischen den Pixelkoordinaten eines Bildpunkts in auf- einander folgenden Bildern aus den Kalibriermatrizen und den Drehmatrizen,
Berechnen der Pixelkoordinaten entsprechend der berechneten Zuordnung unter Kompensation der Kamerarotation und
- Zurückkopieren der Färb- und/oder Helligkeitswerte von neuen auf alte Pixelkoordinaten entsprechend der berechneten Zuordnung.
2. Verfahren nach Anspruch 1, gekennzeichnet durch eine zweite, einer ersten einen 180°-Halbkugelwinkel abbildenden Kamera entgegengerichteten den verbleibenden Halbkugelwinkel abbildenden Kamera.
3. Verfahren nach einem der vorangehenden Ansprüche, gekennzeichnet durch Normierung der z-Komponente der Pixelkoordinaten gleich 1, so daß gilt:
EP05735021A 2004-04-10 2005-04-07 Verfahren zur rotationskompensation sphärischer bilder Withdrawn EP1735749A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004017730A DE102004017730B4 (de) 2004-04-10 2004-04-10 Verfahren zur Rotationskompensation sphärischer Bilder
PCT/DE2005/000613 WO2005101308A2 (de) 2004-04-10 2005-04-07 Verfahren zur rotationskompensation sphärischer bilder

Publications (1)

Publication Number Publication Date
EP1735749A2 true EP1735749A2 (de) 2006-12-27

Family

ID=34981174

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05735021A Withdrawn EP1735749A2 (de) 2004-04-10 2005-04-07 Verfahren zur rotationskompensation sphärischer bilder

Country Status (4)

Country Link
US (1) US7747105B2 (de)
EP (1) EP1735749A2 (de)
DE (2) DE102004017730B4 (de)
WO (1) WO2005101308A2 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0701300D0 (en) * 2007-01-24 2007-03-07 Dreampact Ltd An inspection device which may contain a payload device
WO2008114264A2 (en) * 2007-03-21 2008-09-25 Mantis Vision Ltd A method and apparatus for video image stabilization
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
US8217995B2 (en) * 2008-01-18 2012-07-10 Lockheed Martin Corporation Providing a collaborative immersive environment using a spherical camera and motion capture
DE102008023439B4 (de) 2008-05-14 2011-02-17 Christian-Albrechts-Universität Zu Kiel Augmented Reality Fernglas zur Navigationsunterstützung
GB2483224A (en) * 2010-08-26 2012-03-07 Dreampact Ltd Imaging device with measurement and processing means compensating for device motion
WO2015152923A1 (en) * 2014-04-03 2015-10-08 Empire Technology Development Llc Color smear correction based on inertial measurements
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
FR3041135B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition
US10097759B1 (en) * 2015-09-30 2018-10-09 Apple Inc. 360 degree image presentation
US10084962B2 (en) 2015-11-16 2018-09-25 Google Llc Spherical video stabilization based on accelerometer data
US11477382B2 (en) * 2016-02-19 2022-10-18 Fotonation Limited Method of stabilizing a sequence of images
US10404915B1 (en) * 2016-04-07 2019-09-03 Scott Zhihao Chen Method and system for panoramic video image stabilization
KR102697559B1 (ko) 2016-12-22 2024-08-23 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
US10453273B2 (en) 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
TWI668541B (zh) * 2017-09-29 2019-08-11 財團法人工業技術研究院 機器人工具中心點校正系統及其方法
CN108038820B (zh) * 2017-11-14 2021-02-02 影石创新科技股份有限公司 一种实现子弹时间拍摄效果的方法、装置及全景相机
US10832377B2 (en) * 2019-01-04 2020-11-10 Aspeed Technology Inc. Spherical coordinates calibration method for linking spherical coordinates to texture coordinates

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4736436A (en) * 1984-04-13 1988-04-05 Fujitsu Limited Information extraction by mapping
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
CH687108A5 (de) 1992-12-24 1996-09-13 Anschuetz & Co Gmbh Bildstabilisierungseinrichtung.
KR0163916B1 (ko) * 1995-08-30 1999-01-15 김광호 캠코더의 손떨림 영상의 보정장치
US5798786A (en) 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
US5844602A (en) 1996-05-07 1998-12-01 Recon/Optical, Inc. Electro-optical imaging array and camera system with pitch rate image motion compensation which can be used in an airplane in a dive bomb maneuver
AU4221000A (en) * 1999-04-08 2000-10-23 Internet Pictures Corporation Remote controlled platform for camera
US7042508B2 (en) * 2002-07-26 2006-05-09 Appro Technology Inc. Method for presenting fisheye-camera images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2005101308A3 *

Also Published As

Publication number Publication date
WO2005101308A3 (de) 2006-03-02
DE112005001396A5 (de) 2007-05-24
WO2005101308A2 (de) 2005-10-27
DE102004017730A1 (de) 2005-11-10
DE102004017730B4 (de) 2006-05-24
US20070036460A1 (en) 2007-02-15
US7747105B2 (en) 2010-06-29

Similar Documents

Publication Publication Date Title
WO2005101308A2 (de) Verfahren zur rotationskompensation sphärischer bilder
DE69624550T2 (de) Gerät und Verfahren zur Extraktion von dreidimensionalen Formen
DE202017105894U1 (de) Headset-Entfernung in virtueller, erweiterter und gemischter Realität unter Verwendung einer Blick-Datenbank
EP3427474B1 (de) Bildverarbeitungsverfahren, bildverarbeitungsmittel und bildverarbeitungsvorrichtung zur erzeugung von abbildungen eines teils eines dreidimensionalen raums
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
DE102012108567A1 (de) Verfahren und Vorrichtung zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
DE112007003553B4 (de) Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen
DE202017104934U1 (de) Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme
DE102008024462A1 (de) Interaktives Bildsystem, interaktive Vorrichtung und Betriebsverfahren derselben
DE3219032A1 (de) Stereophotogrammetrisches aufnahme- und auswerteverfahren sowie auswertevorrichtung
EP3711289A1 (de) Verfahren zur automatischen wiederherstellung eines eingemessenen zustands eines projektionssystems
DE102016203377A1 (de) Laserprojektionssystem mit Videoüberlagerung
EP3104330B1 (de) Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
DE102015103785A1 (de) Verfahren und Vorrichtung zur Kalibration einer Kamera
DE102010011528A1 (de) Anordnung und Verfahren zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
DE102011082280A1 (de) Bildmessvorrichtung und Bildmessverfahren
DE102007030378A1 (de) System zur Bestimmung der Lage eines Kamerasystems
DE102006055746A1 (de) Verfahren zur Korrektur einer Volumenabbildungsgleichung zur Bestimmung eines Geschwindigkeitsfeldes von Teilchen in einem Volumen
EP2859531B1 (de) Verfahren zur bildbasierten veränderungserkennung
DE102014106718A1 (de) Verfahren und System zur Bestimmung einer gegenständlichen Lage
EP3539085A1 (de) 3d-referenzierung
DE102010045634A1 (de) Anordnung und Verfahren zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
DE102010004233B3 (de) Verfahren zur Bestimmung der Lage eines Kamerasystems bezüglich eines Objekts
WO2007014966A1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102007032471A1 (de) Verfahren und Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060926

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20121101