Informationen für
Logo VIS

Bildbasierte Szenenrepräsentationen

Um realistische Bilder erzeugen zu können, benötigt die Computergrafik detaillierte Modelle, die die Geometrie und die Materialien der darzustellenden Szene exakt beschreiben. Die Erzeugung dieser Modelle ist mit hohem Aufwand verbunden, insbesondere wenn sie manuell erstellt werden. Daher wurden Aufzeichnungsverfahren entwickelt, die solche Modelle automatisch für real existierende Szenen erzeugen können.

Bildraumverfahren ("Image Space Methods") zeichnen sich dabei dadurch aus, dass sie, anstatt eine explizite Beschreibung der Szene als Menge von Oberflächen und deren Beleuchtungsverhalten – der Szenenreflektanz – zu generieren, eine Menge von Bildern der Szene erfassen, und dann aus diesen Bildern direkt die gewünschten Ergebnisbilder generieren. Dadurch eignen sie sich insbesondere für komplexe Szenengeometrien; sie sind darüber hinaus robust für eine Vielzahl von Materialien einsetzbar, benötigen allerdings große Mengen von Eingabebildern, um exakte Ergebnisse erzeugen zu können.

Image Space Relighting

Globale Beleuchtungseffekte (Brechungen, Spiegelungen, Schatten) werden beim Neubeleuchten im Bildraum für eine Vielzahl verschiedener Materialien automatisch korrekt behandelt. Dieses Bild wurde aus nur 230 Einzelbildern generiert.
Neubeleuchten im Bildraum ermöglicht die Erzeugung von Bildern einer Szene in völlig unterschiedlichen Bedingungen. Obwohl kein explizites Szenenmodell erzeugt wird, ist die Wiedergabe der Orange realitätstreu und expressiv.

Eine der Aufgaben, die sich im Bildraum effizient lösen lassen, ist das Image Space Relighting, oder das Neubeleuchten im Bildraum: aus einem Datensatz aufgenommener Bilder einer Szene in kontrolliert wechselnder oder zumindest bekannter Beleuchtung soll ein neues Bild für eine neuartige Beleuchtung vorhergesagt werden, für das es im aufgenommenen Datensatz keine direkte Entsprechung gibt.

Im allgemeinen Fall formt der Bildatensatz ein 8D- Reflektanzfeld [Debevec et al., 2000]; es ermöglicht zwar, neben beliebigen Beleuchtungsbedingungen auch neue Kamerapositionen und -parameter zu simulieren, ist aber wegen seiner hohen Dimensionalität schwer aufzuzeichnen und handzuhaben, weswegen man für das Neubeleuchten im Bildraum in der Regel vereinfachende Annahmen trifft: die Kamera wird zwischen Aufnahme und Bildsimulation als unveränderlich fest angenommen, und die zu simulierenden Lichtquellen als distant, also als so weit von der Szene entfernt, dass es zwischen den Szenenpunkten keine Variation im von Außen einfallenden Licht gibt. Dadurch sinkt die Dimensionalität des Reflektanzfeldes auf vier Dimensionen. Die Universalität des Ansatzes, alle Materialien, die linearem Lichttransport unterliegen, und ihre Interaktionen durch globale Beleuchtungseffekte, wie z.B. Schatten, Spiegelungen, Kaustiken und Color Bleeding akkurat modellieren zu können, bleibt jedoch erhalten.

In der Vergangenheit untersuchte Problemstellungen umfassen:

  • Beleuchten mit einem Bayesschen Ansatz: wie überträgt man die Beleuchtungsinformation zwischen Szenenbestandteilen ohne explizite Kalibration der Aufnahmebedingungen? [Fuchs et al. 2005, EGSR]
  • Adaptive Abtastung und ausgedehnte Lichtquellen: wie zeichnet man ein 4D-Reflektanzfeld so auf, dass man nur dort Beleuchtungsrichtungen abtastet, wo das Reflektanzfeld stark variiert? [Fuchs et al. 2006, TOG]
  • Interpolation: wie nutzt man die aufgezeichneten Daten möglichst effektiv, um mit wenigen hundert aufgezeichneten Bildern die Qualität von einigen tausend zu erreichen? [Fuchs et al. 2007, EG]
  • Passive Displays für Reflektanzfelder: wie konstruiert man ein Objekt mit einem Aussehen, dass einem gegebenen Reflektanzfeld entspricht? [Fuchs et al. 2008, SIGGRAPH]

Zukünftige Herausforderungen finden sich in höherer Dimensionalität (wie kann man ein volles, 8D- Reflektanzfeld effizient aufzeichnen?) und einer weiteren Vereinfachung des Messprozesses.

Volumetrisches Vermessen transparenter Geometrie mit FIRS

Von links nach rechts: die Maus aus Glas hat eine Geometrie, die sich selbst einem menschlichen Beobachter bei nur einer Ansicht schwer erschießt (Photo des Originals). Durch FIRS lassen sich einzelne Schnitte durch das Objekt erzeugen, die als Volumen visualisiert oder zu einem Oberflächenmodell zusammengefügt werden können.

Nicht nur für das Neubeleuchten liefern Bildraummethoden wertvolle Lösungen; ein Beispiel hierfür ist die geometrische Erfassung eines komplexen Objektes, das mit herkömmlichen Techniken schwierig zu vermessen ist, weil Brechung und Reflexionen das Erscheinungsbild dominieren.

Fluorescent Immersion Range Scanning (FIRS) löst dieses Problem durch das Eintauchen der Szene in eine fluoreszierende Flüssigkeit. Beleuchtet man dann das Arbeitsvolumen mit einer einzelnen Laserlichtlinie passender Wellenlänge, entsteht ein zweidimensionaler Schnitt, in dem die Flüssigkeit aufleuchtet, das zu vermessende Objekt aber dunkel bleibt. Diesen Schnitt kann man mit einer Digitalkamera aufzeichnen, und durch die Bewegung der Linie entsteht so, Bild für Bild, ein dicht abgetasteter Volumendatensatz.

Auch für nicht transparente Materialien wie z.B. glänzende Metalloberflächen eignet sich das Verfahren. Während dabei kein vollständiger Volumendatensatz mehr erfasst werden kann, kann man durch geeignete Bildverarbeitung immer noch die dem Laserlicht nächste Szenenoberfläche erfassen.

 

Publikationen

2008

Fuchs, Martin; Raskar, Ramesh; Seidel, Hans-Peter; Lensch, Hendrik P. A.: Towards Passive 6D Reflectance Field Displays. In: ACM Transactions on Graphics, vol. 27, issue 3 (2008), S. 87.
[XPS] [PDF] [DOI] [OpenXML] [BibTeX] [Vortragsfolien] [Details]
Hullin, Matthias B.; Fuchs, Martin; Ihrke, Ivo; Seidel, Hans-Peter; Lensch, Hendrik P. A.: Fluorescent Immersion Range Scanning. In: ACM Transactions on Graphics, vol. 27, issue 3 (2008), S. 58.
[XPS] [PDF] [DOI] [OpenXML] [BibTeX] [Vortragsfolien] [Details]

2007

Fuchs, Martin; Blanz, Volker; Lensch, Hendrik P. A.; Seidel, Hans-Peter: Adaptive Sampling of Reflectance Fields. In: ACM Transactions on Graphics, vol. 26, issue 2 (2007).
[XPS] [PDF] [DOI] [OpenXML] [BibTeX] [Vortragsfolien] [Details]
Fuchs, Martin; Lensch, Hendrik P. A.; Blanz, Volker; Seidel, Hans-Peter: Superresolution Reflectance Fields: Synthesizing images for intermediate light directions. In: Computer Graphics Forum, vol. 26, issue 3 (2007), S. 447-456.
[XPS] [PDF] [DOI] [OpenXML] [BibTeX] [Vortragsfolien] [Details]

2005

Fuchs, Martin; Blanz, Volker; Seidel, Hans-Peter: Bayesian Relighting. In: Rendering Techniques 2005 - Proceedings of the Eurographics Symposium on Rendering (2005), S. 157-164.
[XPS] [PDF] [DOI] [OpenXML] [BibTeX] [Vortragsfolien] [Details]