Digitale Medien haben mittlerweile einen festen Platz im Alltag von Schülerinnen und Schülern. Sie dienen nicht nur der Vermittlung von Lehrinhalten, sondern werden zunehmend auch für das Erbringen von Leistungsnachweisen und zur Diagnostik eingesetzt. Für die Durchführung und Auswertung etablierter Testverfahren zur Erfassung schulischer Leistungen wäre es wünschenswert, wenn sie in einem digitalen Format vorliegen. Aber sind diese Testleistungen vergleichbar? Um dies zu prüfen, wurden verbreitete Papier- und Bleistift-Testverfahren zur Erfassung der Lesegenauigkeit (Verlaufsdiagnostik sinnerfassenden Lesens, VSL), Dekodiergeschwindigkeit (Würzburger Leise Leseprobe – Revision, WLLP-R) und Rechtschreibung (Weingartener Grundwortschatz Rechtschreib-Test, WRT 3+/4+) digitalisiert und in eine kindgerechte Rahmengeschichte eingebettet. Insgesamt führten 237 Kinder der dritten und vierten Klassenstufe aus Bayern und Hessen die Testverfahren zuerst in digitaler Version (via App am Tablet oder Smartphone) und danach als Papier-und-Bleistift-Version durch. Es zeigt sich ein hoher Zusammenhang zwischen den Testleistungen der beiden Testformate, der unterschiedliche Interpretationen zulässt. Chancen und Grenzen digitalisierter Leistungstests werden diskutiert.