Multimodale KI-Modelle: Drei Wege für die Bildungsforschung

Multimodale KI-Modelle: Drei Wege für die Bildungsforschung

Am Ende steht eine Fülle von Material – Skizzen auf Whiteboards, kurze Erklärvideos, Fotos vom Experimentieren, Programmcode aus dem naturwissenschaftlichen Profil, handschriftliche Protokolle, mündliche Zwischenberichte in Audio-Form. Wir spüren als Lehrkräfte täglich, dass Lernen ein vielschichtiger Prozess ist, der sich in einer einzelnen Note oder einem klassischen Test nie vollständig abbilden lässt. Genau diese Vielschichtigkeit versucht die Bildungsforschung seit einiger Zeit mit multimodalen KI-Modellen greifbar zu machen. Drei Wege kristallisieren sich heraus, die unser didaktisches Selbstverständnis verändern könnten – jeder mit eigenen Voraussetzungen, Grenzen und offenen Baustellen.

Multimodale Lernanalytik: Datenfusion als Schlüssel zum Lernprozess

Der erste Forschungsweg heißt Multimodale Lernanalytik, kurz MMLA, und er beantwortet eine Frage, die uns Lehrkräften unter den Nägeln brennt: Wie können wir die Spuren, die Lernen hinterlässt, systematisch zusammenführen, statt nur eine einzelne Datenspur isoliert zu betrachten? Eine systematische Übersichtsarbeit, die im April 2026 in "Research and Practice in Technology Enhanced Learning" erschienen ist, fasst diesen Ansatz präzise zusammen: MMLA verbindet Daten aus unterschiedlichen Modalitäten, um Einblicke in Lernprozesse zu gewinnen.

Wer Lernen verstehen will, muss die Spuren miteinander ins Gespräch bringen – Tafelbild, Blicke, Datenströme und Emotionen erzählen gemeinsam eine Geschichte.

Die Forschung ordnet die Daten, die dabei zusammenkommen, fünf Gruppen zu: digitale Daten wie Logfiles aus Lernplattformen oder Programmierübungen; physische Daten wie Bewegungsmuster oder Interaktionen mit Tablets; physiologische Daten wie Herzfrequenz oder Blickverläufe; psychometrische Daten aus diagnostischen Tests; und Umgebungsdaten wie Raumklima oder Lautstärke. Zugleich benennt die Übersicht fünf Lernindikatoren, an denen entlang die Forschung Aussagen trifft: Verhalten, Kognition, Emotion, Kollaboration und Engagement.

Drei Wege der Datenfusion

Wenn wir Daten aus mehreren Quellen kombinieren, stehen uns unterschiedliche Methoden zur Verfügung. Bei Viele-zu-eins-Ansätzen werden mehrere Datenströme zu einem einzigen Modell zusammengeführt; Viele-zu-viele-Modelle verarbeiten mehrere Modalitäten parallel und verzahnen ihre Ergebnisse; Verfahren mit mehrfacher Validierung analysieren dieselben Datenströme unabhängig voneinander und gleichen sie anschließend ab. Für unsere kollegiale Praxis heißt das: Es ist nicht egal, ob ein Forschungsteam "nur" Blicke und Tippverhalten kombiniert oder zusätzlich physiologische Daten hinzunimmt. Die methodische Wahl verändert das, was wir überhaupt über Lernen aussagen können. Wer etwa nur das Tippverhalten auf einer Lernplattform auswertet, sieht das arbeitende Kind, aber nicht die Geste der Verzweiflung, den Blick zur Hilfskraft oder das gemeinsame Lachen, das einen Durchbruch markiert. Wer umgekehrt nur Kameradaten interpretiert, läuft Gefahr, eine schlecht beleuchtete Ecke des Klassenzimmers als Desinteresse zu deuten.

Wo die Evidenz für die Schulpraxis noch zerfasert

Hier müssen wir ehrlich sein. Eine Übersichtsarbeit am UCL sichtete 663 Publikationen und nahm 100 Arbeiten in die Synthese auf – sie bewertet die Evidenz für Auswirkungen auf Lernergebnisse in realen Umgebungen als schwach. Eine weitere systematische Übersicht zu Datenschutz und Eingriffstiefe analysierte 192 MMLA-Artikel und berichtet zwar von spannenden Einblicken in Lernen und Lehren, aber von wenig Evidenz dafür, dass MMLA-Ergebnisse erfolgreich und im großen Maßstab in Klassenräumen umgesetzt wurden. Für die Klassenstufen K bis 8 identifizierte eine Überblicksstudie 14 begutachtete empirische Studien aus den Jahren 2011 bis 2023 – eine überschaubare Zahl, in der obendrein häufig Angaben zu Datenfusion, Ethik und Transparenz fehlten.

Diese ehrliche Bilanz ändert nichts daran, dass MMLA derjenige Forschungsweg ist, der unser didaktisches Herz besonders anspricht. Denn wenn wir es schaffen, Spuren von Lernen wirklich zusammenzudenken statt sie isoliert zu bewerten, kommen wir dem näher, was wir im Klassenraum täglich beobachten: dass aufmerksames Zuhören, ein fragender Blick und eine korrigierte Rechnung zusammengehören. Wir sollten MMLA deshalb als Heuristik lesen, nicht als fertige Messtechnik – als Angebot, unser didaktisches Auge zu schärfen, nicht als Ersatz für unsere Beobachtung.

Visuelle Fragebeantwortung: Ein zweiter Weg, Schülerarbeiten zu analysieren

Der zweite Forschungsweg führt uns noch direkter in unseren Schulalltag, denn er nimmt die Materialien in den Blick, die wir tagtäglich austeilen, einsammeln und kommentieren: Unterrichtsfotos, Schülerzeichnungen, Lehrbuchillustrationen, Tafelbilder. Ein Positionspapier zur Bildungsforschung schlägt vor, visuelle Fragebeantwortung gezielt für die Analyse solcher Bilddaten einzusetzen. Stellen Sie sich das konkret vor: Sie haben in Ihrer Klasse 25 verschiedene Handzeichnungen zum Wasserkreislauf eingesammelt. Ein solches System könnte zu jeder Zeichnung automatisch Fragen stellen und beantworten lassen – "Welcher Aggregatzustand ist hier rot markiert?", "Wo geht der Pfeil vom Kondensat in die Wolke?" – und Ihnen so strukturierte Vergleichsdaten liefern.

In der Praxis funktioniert das bisher vor allem als methodischer Vorschlag, nicht als breit validierte Unterrichtsroutine. Auch hier bleibt wichtig: Eine Modellantwort zu einem Foto ist noch kein Urteil über das Verständnis eines Kindes, über seine Motivation oder die Qualität unserer eigenen Aufgabenstellung. Lassen Sie uns den VQA-Pfad als zusätzliches Auge verstehen, nicht als Ersatzauge für unsere pädagogische Professionalität. Das gilt besonders für zwei Risiken, die wir im Schulalltag kennen: erstens die Tendenz, eine plausible klingende Antwort einer unplausiblen, aber kindgerechten Zeichnung vorzuziehen, und zweitens die Versuchung, aus einem einzigen Bild einen längerfristigen Lernstand abzuleiten. Beides ist menschlich – und beides verstärkt sich, wenn uns eine scheinbar objektive Technik abnimmt, was eigentlich Beziehungsarbeit ist.

Leistungsbenchmarks: Wo die Modelle an schulischen Aufgaben reifen müssen

Der dritte Forschungsweg verlässt den Klassenraum etwas stärker und blickt auf die Modelle selbst. Wenn wir mit KI arbeiten, möchten wir wissen, was diese Modelle wirklich können – nicht in Hochglanz-Demos, sondern in Aufgaben, die unseren schulischen Aufgaben ähneln. Genau dafür wurde EXAMS-V entwickelt, ein Benchmark, der 2024 in den Proceedings der ACL vorgestellt wurde.

Was EXAMS-V uns über Modellgrenzen erzählt

EXAMS-V enthält 20.932 Multiple-Choice-Aufgaben aus 20 Schulfächern. Die Aufgaben sind nicht nur Text, sondern umfassen Bilder, Tabellen, Abbildungen, Diagramme, Karten, wissenschaftliche Symbole und Gleichungen. Sie liegen in 11 Sprachen aus 7 Sprachfamilien vor und wurden aus Schulprüfungsaufgaben verschiedener Länder und Bildungssysteme kuratiert. Die Autorinnen und Autoren berichten, dass selbst fortgeschrittene Vision-Sprach-Modelle wie GPT-4V und Gemini den Datensatz als schwierig bewältigen. Das ist eine wichtige Nachricht für uns: Wenn ein Modell an realen Prüfungsaufgaben aus unterschiedlichen Schulfächern und Bildungssystemen stolpert, dann dürfen wir eine Multiple-Choice-Fähigkeit im Klassenzimmer noch lange nicht mit Unterrichtstauglichkeit gleichsetzen.

EXAMS-V ist ehrlich zu den Modellen – und das sollten unsere Erwartungen an sie auch sein: Schulreife lässt sich nicht an einer Konferenzbühnen-Demo messen.

Gerade für uns in Deutschland fehlt bislang ein umfassender, frei zugänglicher Benchmark, der die Zuverlässigkeit führender multimodaler Modelle bei authentischen deutschen Unterrichtsaufgaben repräsentativ belegt. Wir können beobachten, dass damit jede Generalisierung, die Anbieter uns in den nächsten Monaten versprechen werden, mit Vorsicht zu genießen ist. Hinzu kommt eine bekannte Schwäche solcher Benchmarks: Sie messen die Antwort auf eine vorgegebene Frage, nicht den Weg dorthin. Im echten Unterrichtsalltag dagegen muss ein Modell oft erst klären, was überhaupt gefragt ist, welche Annahmen wir teilen und welches Vorwissen bei einer Schülerin vorausgesetzt werden darf.

Drei Wege im Überblick

Damit Sie als Leserinnen und Leser die drei Forschungswege schnell zueinander ordnen können, hier eine kompakte Gegenüberstellung:

Regulatorische Hürden: Warum das KI-Gesetz Bildung besonders im Blick hat

Mit jedem dieser drei Wege sind rechtliche und ethische Fragen verbunden, die uns als Schulgemeinschaft betreffen. Die aktuelle Informationsseite der Europäischen Kommission führt Bildung unter den Hochrisikobereichen des KI-Gesetzes und nennt für Systeme in solchen Bereichen den 2. Dezember 2027 als Beginn der Anwendung der entsprechenden Regeln. Für uns Lehrkräfte heißt das: Wer in den nächsten Jahren Systeme einsetzt, die Lernende bewerten, sortieren oder in ihrer weiteren Bildungslaufbahn beeinflussen können, bewegt sich in einem stark regulierten Raum. Das ist kein Grund zur Panik, im Gegenteil: Es entlastet uns, weil klare Regeln uns vor überstürzten Alleingängen schützen, die wir ohnehin nie alleine verantworten müssten.

Wichtig ist dabei eine Differenzierung: Eine Forschungsarbeit, die ein Modell vorschlägt, ist etwas völlig anderes als eine produktive Anwendung in der Schulnote. Zwischen "wir probieren das im geschützten Rahmen eines Projekts aus" und "das System entscheidet über die Versetzung" liegt ein juristischer wie pädagogischer Ozean. Datenschutz lässt sich bei Kindern sowie bei Kamera-, Audio-, Blick- und biometrienahen Daten nicht auf eine bloße Einwilligung reduzieren – Eingriffstiefe, Zweckbindung, Datenminimierung, Transparenz und menschliche Kontrolle sind gesondert zu prüfen. Hinzu kommt, dass Mündlichkeit, Spontanität und körperliche Anwesenheit von Kindern sensible Daten sind, die in keinem Forschungsvorhaben leichtfertig verarbeitet werden dürfen – erst recht nicht, wenn am Ende ein Ranking einzelner Lernender stehen könnte.

Methodische Lücken: Warum die Evidenz für unseren Alltag noch fehlt

Schauen wir auf die Bilanz der drei Wege, dann zeigen sich klare methodische Lücken, die wir aushalten und gleichzeitig produktiv nutzen sollten:

• Es gibt keine belastbare, allgemein gültige Kennzahl, ab welcher Modellgenauigkeit ein multimodales Modell für reale Unterrichtsbeobachtung, Feedback oder Benotung geeignet ist.
• Die Forschung belegt nicht, dass aus Kamera-, Audio- oder Biosensordaten Emotionen, Aufmerksamkeit oder Verständnis einzelner Lernender zuverlässig und kontextunabhängig abgeleitet werden können.
• Aus den vorliegenden Übersichten lässt sich keine einheitliche Praxisnorm für die Auswahl, zeitliche Synchronisierung und Fusion von Video-, Audio-, Blick-, Sensor- und Logdaten ableiten.
• Für deutschsprachige Schulklassen fehlt ein umfassender, frei zugänglicher Benchmark, der die Zuverlässigkeit führender multimodaler Modelle bei authentischen Unterrichtsaufgaben repräsentativ belegt.

Diese Liste ist kein Grund für Resignation. Sie ist eine Landkarte, die uns Lehrkräften zeigt, an welchen Stellen wir besonders kritisch hinschauen müssen, wenn Anbieter uns das nächste "revolutionäre Lernanalyse-System" präsentieren. Sie verschiebt unsere Rolle: vom begeisterten Early Adopter, der jede Demo beklatscht, zur kundigen Anwenderin, die vor dem Pilotprojekt die richtigen Fragen stellt.

Unser Weg durch diese Forschung

Wenn ich die drei Forschungswege gemeinsam betrachte, dann sehe ich für unsere pädagogische Praxis vor allem drei Aufgaben: Erstens, MMLA ernst nehmen als Idee, die unser reichhaltiges Bild vom Lernen in eine methodische Sprache übersetzt – ohne zu erwarten, dass die Forschung uns morgen das fertige Werkzeug liefert. Zweitens, visuelle Fragebeantwortung als Heuristik verstehen, die uns hilft, Materialien zu sortieren und Hypothesen zu bilden, nicht als Urteilsinstanz über Kinder. Drittens, Benchmarks wie EXAMS-V als Realitätsanker nutzen, um unsere eigenen Erwartungen an KI zu kalibrieren, gerade weil diese Modelle an schulischen Aufgaben sichtbar scheitern.

Mein Vorschlag an Sie, liebe Kolleginnen und Kollegen: Wenn uns das nächste Schuljahr mit dem Versprechen konfrontiert, ein neues KI-System "sehe, was die Schüler:innen wirklich verstehen", dann fragen wir gemeinsam: Welche Daten fusioniert das System? Auf welcher Stichprobe wurde es geprüft? Wie ist die Eingriffstiefe geregelt? Und wie bleibt unsere pädagogische Verantwortung jederzeit sichtbar? Die drei Forschungswege, die ich Ihnen hier vorgestellt habe, geben uns die Sprache, um diese Fragen präzise zu stellen. Sie nehmen uns die Verantwortung nicht ab – aber sie helfen uns, sie bewusst und mit klaren Kriterien zu tragen.