In diesem Beitrag wird untersucht, ob und wie LLMs bei der Analyse und Überarbeitung der Textvorlagen unterstützen können und wo ihre Grenzen liegen. Im ersten Teil wird geprüft, wie zuverlässig LLMs verschiedene Facetten von Textschwierigkeit bestimmen. Als Korpus dienen 58 Texte, die im Prüfungsteil Hörverstehen der Deutschen Sprachprüfung für den Hochschulzugang (DSH) an verschiedenen Standorten eingesetzt wurden. Die von den LLMs berechneten Werte werden mit den tatsächlich ermittelten Indizes verglichen. Die Ergebnisse
zeigen, dass LLMs die Texteigenschaften eher schätzen als exakt berechnen. Die
Abweichungen zu den tatsächlichen Werten sind erheblich. Anschließend wird erhoben, wie LLMs genutzt werden können, um Texte so zu überarbeiten, dass sie sich besser für den Einsatz in einer Hörverstehensprüfung eignen. Eine exemplarische Analyse der Texte zeigt, dass manuelle Nachbearbeitungen unverzichtbar bleiben. Abschließend wird diskutiert, wie LLMs in den Prozess der Textanalyse und –überarbeitung für Material- und Testentwicklung integriert werden können.