Um Lerninterventionen hinsichtlich des Erwerbs von Konzeptverständnis evaluieren und vergleichen zu können, sind validierte quantitative Erhebungsinstrumente erforderlich. In diesem Beitrag wird die Konzeption, Entwicklung und Evaluation eines Concept Inventory zum Thema Maschinelles Lernen (CIML) für die Sekundarstufe I beschrieben. Zunächst werden die dem CIML zugrunde liegenden ML-Konzepte vorgestellt und diesen verbreitete, aber inadäquate Alltagsvorstellungen gegenübergestellt. Anschließend wird der Entwicklungsprozess sowie der finale Aufbau des Instruments erläutert, einschließlich der Ergebnisse aus Schüler:innenbefragungen und Expert:innenvalidierungen. Abschließend wird der Einsatz des CIML als Prä-Post-Testinstrument exemplarisch dargestellt.