Zum Trainieren von Anwendungen künstlicher Intelligenz, kurz KI, stellt das Fehlen von ausreichend großen Sensordatensätzen mit ausreichender Varianz sowie die Beschaffungskosten für ebendiese ein relevantes Problem dar. Für die beiden genannten Probleme können synthetische Sensordaten Lösungsansätze bieten. Vorteilhaft an synthetischen Daten sind die Möglichkeit der Parametrierung, Updates ohne Domänenunterschied und Datenschutzaspekte, während fehlende Intraklassenvarianz und der sim-toreal gap als nachteilig betrachtet werden können. Vor dem Trainieren sicherheitskritischer KI-Anwendungen mit synthetischen Daten ist die Bewertung ebendieser Sensordaten elementar. Aus diesem Grund werden in folgender Arbeit Methoden zur Bewertung synthetischer Sensordaten beschrieben, konfiguriert, genutzt und evaluiert. Da für die Evaluation synthetischer Sensordaten beim Vergleich von synthetisch erzeugten Daten mit Realdatensätzen innerhalb desselben Anwendungsfalles deutlich aussagekräftigere Ergebnisse zu erwarten sind als mit Datensätzen unterschiedlicher Anwendungsfälle, wurden in vorliegender Arbeit einheitlich Vehicle Make and Model Recognition-Bilddaten, kurz VMMR-Bilddaten, untersucht. VMMR-Bilddaten sind Aufnahmen von Autos mit zusätzlicher Annotation von Automarke und -modell. VMMR bezeichnet die Aufgabe anhand von Eingabebildern, welche Autos zeigen, deren Marke und Modell zu prädizieren. Die VMMR wurden genutzt, da in diesem Fall hohe Konfidenzen benötigt werden, die Daten mithilfe einer höherwertigen Simulationsplattform erzeugt wurden und somit die Ergebnisse, in Gänze oder zum Teil, auf andere Anwendungsfälle übertragbar sind.

Eine in dieser Arbeit genauer untersuchte Methode zur Bewertung synthetischer Sensordaten ist die Kreuzvalidierung, welche sich als besonders rechenintensiv herausstellt. Hierbei erfolgt eine Modifizierung der k-fold-Methode, um bei vorliegender Kreuzvalidierung den Einfluss von Nässegrad der Straße und der Verteilung der Autolackfarben zu überprüfen. Dies soll ermöglichen, die Zusammenstellung des synthetischen Datensatzes kritisch zu beleuchten und die prozentuale Verteilung von bestimmten Farben bzw. bestimmter Nässegrade zu hinterfragen.

Darüber hinaus können mit der Einführung und Nutzung der Fréchet Inception Distance, kurz FID, Unterschiede zwischen Realdatensätzen und synthetischen Datensätzen quantifiziert werden. Hierbei ist die besonders rechenzeitsparende Anwendung der FID hervorzuheben. Nachteilig ist jedoch anzumerken, dass die Nutzung der FID, zumindest bei genutztem 2048-dimensionale Feature Vector, eine Bildanzahl von etwa 10.000 Bildern je Datensatz in vorliegendem Anwendungsfall für stabile Ergebnisse benötigt. Für weitergehende Fragen, wie die Unterschiede zustande kommen oder in welchem Bildbereich die Unterschiede zwischen synthetischen und realen Daten liegen, erscheint die FID eher ungeeignet.

Für die genauere Lokalisierung der Unterschiede zwischen den Realdaten und den synthetischen Bilddaten erweist sich die Gradient-weighted Class Activation Mapping Analyse, kurz Grad-CAM-Analyse, als besonders hilfreich. Diese ermöglicht Aussagen darüber zu treffen, durch welche Bereiche des Bildes eine Zuordnung zu einer bestimmten Klasse erfolgt. Hieraus können Schwächen der synthetischen Bilddaten und/oder Realdaten hervorgehen. Mit Hilfe einer nachgeschalteten Hauptkomponentenanalyse der Aktivierungswerte der Bilder können Informationen zu Variation und Unterschieden der durchschnittlichen Aktivierung erfolgen. Hierbei muss jedoch die sehr zeitaufwendige Interpretationsarbeit, besonders bei einem knappem Zeitbudget, berücksichtigt werden.