Vergleich von vier Modellarchitekturen zur automatisierten Schlafstadienstadienklassifikation bezüglich Klassifikationsgüte und Übertragbarkeit
Publikation: Beitrag zu Konferenzen › Wissenschaftliche Vortragsfolien › Beigetragen › Begutachtung
Beitragende
Abstract
Einleitung: Der Einsatz von maschinellen Lernalgorithmen für die Somnologie, z.B. für die Verbesserung der Schlafstadienklassifikation, hat viele Vorteile. Die Umsetzungsstrategien sind vielseitig, von der Integration eines
vortrainierten Algorithmus bis zur individuellen Neuimplementierung. Im Projekt Teleschlafmedizin wurden an der TU Dresden verschiedene Ansätze für die Schlafstadienklassifikation umgesetzt und hinsichtlich
Klassifikationsgüte und Aufwand der Implementierung evaluiert.
Patienten und Methoden: Im Zuge einer retrospektiven Studie am Universitätsklinikum Dresden standen ca. 7500 Polysomnographie-Aufzeichnungen zu Verfügung. Aus Gründen der Rechenzeit und Speicherkapazität wurden für
den Modellvergleich 354 Aufzeichnungen ausgewählt. Bei den vier Architekturen handelt es sich um (1) ein CNN, als universellen KI-Ansatz mit vielseitigen Anwendungsmöglichkeiten für verschiedene Klassifikationsprobleme,
(2) SimpleSleepNet, als "State of the Art"-Algorithmus für Schlafstadienklassifikation aus der Literatur, (3) DRCNN, welches für das verwandte Problem der Arousaldetektion beachtliche Ergebnisse erzielte und hier für die
Schlafstadienklassifikation adaptiert wurde und (4) DTNN, als individuelle, unabhängige Architektur. Alle Modelle wurden mit denselben Daten und Workflow trainiert, optimiert und validiert.
Ergebnisse: Das CNN erreicht bei der Klassifikation in fünf Schlafstadien eine Genauigkeit von 60%, SimpleSleepNet von 84%, DRCNN von 85% und DTNN von 82% und ein Cohen"s Kappa (Maß für die Interraterreliabilität)
von 0,55 (CNN), 0,72 (SimpleSleepNet), 0,73 (DRCNN) und 0,71 (DTNN). Beim Implementierungs- und Trainingsaufwand zeigten sich erhebliche Unterschiede, wobei der geringste Aufwand für SimpleSleepNet erforderlich war,
da der Sourcecode Open Access zur Verfügung stand, und der größte für DTNN, da deutlich mehr Optimierungsschritte notwendig waren.
Schlussfolgerung: Während die Klassifikationsgüte in Form der Genauigkeit bereits für sich spricht, ergibt sich die Übertragbarkeit der Architekturen als Kombination des Implementierungsaufwands mit der Güte. "State of the
Art"-Ansätze zu recherchieren und ggf. abzuwandeln, um die schnelle Implementierung eines Modells mit hoher Güte zu erreichen, bewährt sich als gute Strategie. Die Ergebnisse repräsentieren dabei noch nicht die volle
Leistungsfähigkeit der Modelle. Mit mehr Trainingsdaten ist eine Steigerung der Klassifikationsgüte zu erwarten.
vortrainierten Algorithmus bis zur individuellen Neuimplementierung. Im Projekt Teleschlafmedizin wurden an der TU Dresden verschiedene Ansätze für die Schlafstadienklassifikation umgesetzt und hinsichtlich
Klassifikationsgüte und Aufwand der Implementierung evaluiert.
Patienten und Methoden: Im Zuge einer retrospektiven Studie am Universitätsklinikum Dresden standen ca. 7500 Polysomnographie-Aufzeichnungen zu Verfügung. Aus Gründen der Rechenzeit und Speicherkapazität wurden für
den Modellvergleich 354 Aufzeichnungen ausgewählt. Bei den vier Architekturen handelt es sich um (1) ein CNN, als universellen KI-Ansatz mit vielseitigen Anwendungsmöglichkeiten für verschiedene Klassifikationsprobleme,
(2) SimpleSleepNet, als "State of the Art"-Algorithmus für Schlafstadienklassifikation aus der Literatur, (3) DRCNN, welches für das verwandte Problem der Arousaldetektion beachtliche Ergebnisse erzielte und hier für die
Schlafstadienklassifikation adaptiert wurde und (4) DTNN, als individuelle, unabhängige Architektur. Alle Modelle wurden mit denselben Daten und Workflow trainiert, optimiert und validiert.
Ergebnisse: Das CNN erreicht bei der Klassifikation in fünf Schlafstadien eine Genauigkeit von 60%, SimpleSleepNet von 84%, DRCNN von 85% und DTNN von 82% und ein Cohen"s Kappa (Maß für die Interraterreliabilität)
von 0,55 (CNN), 0,72 (SimpleSleepNet), 0,73 (DRCNN) und 0,71 (DTNN). Beim Implementierungs- und Trainingsaufwand zeigten sich erhebliche Unterschiede, wobei der geringste Aufwand für SimpleSleepNet erforderlich war,
da der Sourcecode Open Access zur Verfügung stand, und der größte für DTNN, da deutlich mehr Optimierungsschritte notwendig waren.
Schlussfolgerung: Während die Klassifikationsgüte in Form der Genauigkeit bereits für sich spricht, ergibt sich die Übertragbarkeit der Architekturen als Kombination des Implementierungsaufwands mit der Güte. "State of the
Art"-Ansätze zu recherchieren und ggf. abzuwandeln, um die schnelle Implementierung eines Modells mit hoher Güte zu erreichen, bewährt sich als gute Strategie. Die Ergebnisse repräsentieren dabei noch nicht die volle
Leistungsfähigkeit der Modelle. Mit mehr Trainingsdaten ist eine Steigerung der Klassifikationsgüte zu erwarten.
Details
(Fach-)Tagung
Titel | 29. Jahrestagung der Deutschen Gesellschaft für Schlafforschung und Schlafmedizin e. V |
---|---|
Kurztitel | DGSM 2021 |
Veranstaltungsnummer | |
Dauer | 28 - 30 Oktober 2021 |
Bekanntheitsgrad | Nationale Veranstaltung |
Ort | digital |
Stadt | Freiburg |
Land | Deutschland |