Die Verfügbarkeit hochwertiger, schneller Kamerasysteme und die stark gestiegene Rechenleistung in Grafikkarten (GPUs) ermöglichen die Echtzeitverarbeitung von optischen Messdaten im Bildraum, die einerseits die Qualität herkömmlicher Anwendungen deutlich steigern können, andererseits auch neuartige visuelle Interaktionen ermöglichen.
Schnelle Aufbereitung von Hochgeschwindigkeitsvideodatenströmen
Die digitale Kameratechnik hat in den vergangenen Jahren große Fortschritte gemacht, insbesondere, was die Aufzeichungsgeschwindigkeit betrifft. Selbst für Endkunden sind Kameras verfügbar, die zumindest kurzfristig Videosequenzen mit über 1000 Bilder pro Sekunde aufzeichnen können. Auf der Seite der Bildschirme und Projektoren war die Entwicklung allerdings deutlich langsamer, und Anzeigegeräte gleicher Geschwindigkeit sind im Allgemeinen nicht verfügbar, weswegen die Aufzeichnung in voller Geschwindigkeit in der Regel unwirtschaftlich ist. Daher werden Verfahren benötigt, die diese Daten in Echtzeit effizient aufbereiten können, um daraus Videoströme mit Standard-Bildrate, aber im Vergleich zu herkömmlichen Methoden gesteigerter Qualität zu erstellen.
Ein Prototyp-Aufbau aus schneller Kamera und GPU-basierter Bildverarbeitung [Fuchs et al. 2010 CAG, 2009 VMV] erreicht dies durch zeitliche Mehrfachabtastung. Ein in Software implementierter Filter, der abhängig von den Eigenschaften des erwarteten Anzeigegerätes gewählt werden kann, steuert dabei die Glattheit des Ergebnisses (siehe Video auf der Projektwebseite) und die wahrgenommene Intensität der Bewegung; für herkömmliche Abtastung typische Artefakte wie die Wagenrad-Illusion bei schneller Bewegung oder Flackern können damit weitehend vermieden werden. Im Fourier-Raum sind auch darüber hinaus nicht-photorealistische Effekte möglich, bei denen z.B. statische Szenenteile ausgeblendet werden können.
Abb.1: Durch geeignete Wahl des bei der Aufzeichnung verwendeten Filters wird der visuelle Effekt von Bewegungen entweder reduziert (links) oder verstärkt (rechts).
In-Situ-Visualisierung von Szenenanalysen im Bildraum
Dem menschlichen Auge bleiben Oberflächenstrukturen verborgen, die mit den Methoden der Bilderverarbeitung, wie z.B. Kantenenerkennung und -verstärkung, einfach kenntlich gemacht werden können. Mit leistungsfähigen GPUs können diese Prozesse ohne weiteres in Echtzeit ablaufen – werden die Ergebnisse dann allerdings auf einem Standard-Monitor angezeigt, ist die interaktive Erfahrung unvollständig, weil ein Anwender seine Aufmerksamkeit zwischen dem untersuchten Objekt und dem Bildschirm teilen muss.
Mit einer kontextsensitiven Lichtquelle [Wang et al. 2010, ICCP] lässt sich diese Interaktionslücke überbrücken: ein einfacher optischer Aufbau kombiniert einen Digitalprojektor als programmierbare Lichtquelle mit einer Digitalkamera als Szenensensor. Mit Hilfe von Streaming-Verarbeitung der Kameradaten auf einer ins System integrierten Grafikkarte lassen sich Szenenmerkmale im Bildraum detektieren und durch geeignete Ansteuerung des Projektors in situ in der beobachteten Szene darstellen.
Abb. 2: Ein tragbarer Aufbau aus Kamera und Projektor ermöglicht eine in-situ Visualisierung von Kanten in der Szene (angeschlossener Rechner nicht im Bild).
Challenges
Zukünftige Herausforderungen für Echtzeit-Systeme in Computational Photography und Computational Illumination sind vor allem die Integration der optischen Aufbauten in Mobilgeräte und die Implementierung einer leistungsfähigen Signalverarbeitung auf den enthaltenen GPU-Einheiten mit reduzierter Rechenleistung.