Evaluation

Evaluation ist ein essenzieller Bestandteil bei der Entwicklung von neuartigen Visualisierungen oder Visual Analytics Systemen. Hierbei können verschiedene Methoden zum Einsatz kommen, z. B. Eyetracking, Interaktions-Protokolle, Think Aloud Studien, Perzpetionsstudien, Crowd-Sourcing Experimente. Experimente können als Laborstudien, Online-Studien oder Feldstudien durchgeführt werden.

Eye Tracking hat sich zu einer weit verbreiteten Methode zur Analyse des Nutzerverhaltens in den Bereichen Marketing, Neurowissenschaften, Mensch-Computer-Interaktion, Visualisierungsforschung, Lesen, Szenenwahrnehmung und visuelle Suche entwickelt. Neben der Messung von Abschlusszeiten und Genauigkeitsraten bei der Durchführung von Sehaufgaben in klassischen kontrollierten Nutzerexperimenten liefern auf Eye Tracking basierende Auswertungen zusätzliche Informationen über die Verteilung der visuellen Aufmerksamkeit und Veränderungen für einen präsentierten Stimulus. Eyetracking-Geräte zeichnen Blickpunkte eines Teilnehmers als Rohdaten auf. Anschließend können diese Blickpunkte zu Fixationen und Sakkaden, den beiden Hauptkategorien der Augenbewegung, aggregiert werden. Bei dynamischen Stimuli, Smooth Pursuit ist ein zusätzlicher Datentyp, der für die Analyse verwendet wird. Zusätzlich können Interessengebiete (Areas of Interest, AOIs) definiert werden, um die Verteilung der Aufmerksamkeit zwischen bestimmten Regionen auf einen Stimulus zu messen.

Für die Analyse von Eyetracking-Daten, stehen eine Vielzahl von Visualisierungen zur Verfügung. Einige Beispiele sind

• Parallel Scanpath Visualisierung [Raschke et al. 2012, Raschke et al. 2014]
• ISeeCube [Kurzhals et al. 2014]
• Gaze Stripes [Kurzhals et al. 2016]
• Radial Transition Graphs [Blascheck et al. 2012, Blascheck et al. 2017]
• Word-scale Visualisierungen [Beck et al. 2015, Beck et al. 2016, Beck et al. 2017]

Perzeptionsstudien haben in der Visualisierung eine lange Tradition [Cleveland and McGill 1984, Cleveland and McGill 1985, Cleveland and McGill 1986]. Um herauszufinden wie eine Visualisierung Wahrgenommen wird oder um verschiedene visuelle Variablen auf ihre Eignung für verschiedene Datentypen zu testen bieten sich solche Experimente an. Meist wird versucht den gerade noch wahrnehmbaren Unterschied mit einer Staircase-Methode zu messen. Es kann aber auch versucht werden, den minimalen Schwellwert herauszufinden ab wann ein Unterschied nicht mehr wahrnehmbar ist.

Crowdsourcing-Experimente sind Online-Experimente und haben den Vorteil, dass sie in der Lage sind, innerhalb kurzer Zeit mit relativ wenig Geld eine große Anzahl von Teilnehmern zu rekrutieren. Die Forscher verlieren jedoch die Kontrolle über potenzielle Störfaktoren und die externe Validität. Darüber hinaus ist es schwierig, genaue und vertrauenswürdige Aufgabenerfüllungszeiten zu messen, wenn unklar ist, wie oder ob die Teilnehmer von der Aufgabe abgelenkt wurden. Trotz dieser Zielkonflikte sind Online-Experimente nützliche Evaluationsmethoden, die Auswertungen im Labor ergänzen können. Sie sind besonders nützlich, wenn Forscher mehrere Visualisierungskandidaten durch ein Experimentdesign (z.B. eine Studie zwischen Fächern) mit relativ geringen Kosten vergleichen wollen.