Kann ChatGPT einen Schulstundenplan erstellen?

Bevor man beurteilt, ob ein Chatbot das kann, hilft es zu wissen, wo die Messlatte liegt. Ein Schulstundenplan muss harte Bedingungen erfüllen, um überhaupt als brauchbar zu gelten: keine Klasse und keine Lehrkraft in einer Stunde doppelt belegt, jede Klasse mit der geforderten Anzahl an Unterrichtseinheiten, Lehrkräfte nur eingeplant, wenn verfügbar und innerhalb der Arbeitszeitgrenzen, sowie Räume passend zu Kapazität und Fachraumbedarf, mit berücksichtigten Wegzeiten an Schulen mit mehreren Standorten. Darüber hinaus stehen weiche Bedingungen wie Uhrzeit- und Lehrkraft-Perioden-Präferenzen, eine gleichmäßige Verteilung der Stunden über die Woche und begrenzte Leerstunden, die gegeneinander abgewogen werden müssen, statt alle gleichzeitig erfüllbar zu sein.

Ein Praxisbericht zur Erstellung von Stundenplänen an weiterführenden Schulen ergänzt die Liste um weitere Zielkonflikte: Lehrkräfte über die Jahrgangsstufen verteilen statt sie an einen einzigen Bereich zu binden, geteilte Klassen nach Möglichkeit vermeiden und die Stabilität der Raumzuteilung gegen die Gesamtauslastung abwägen. Das sind viele ineinandergreifende Regeln, die gleichzeitig gelten müssen, keine einzelne Frage mit einer richtigen Antwort.

Im OpenAI-Community-Forum berichtete ein Nutzer, der einen ChatGPT-basierten Schulstundenplan-Generator baute, dass das Modell Lehrkraft-Doppelbelegungen über Jahrgangsstufen hinweg nicht auflösen konnte, und fragte, wie er es dafür trainieren könne. Ein zweiter Nutzer im selben Thread berichtete von demselben Problem, ohne dass eine Lösung angeboten wurde. Beide beschreiben denselben Fehler: Das Modell erzeugt eine Zuordnung, erkennt aber den Konflikt nicht, den es selbst gerade erzeugt hat.

Dieser einzelne Bericht fügt sich in einen breiteren Trend der Planungsforschung ein. Keine der folgenden Studien wurde am Schulstundenplan selbst durchgeführt, aber alle testen dieselbe zugrunde liegende Fähigkeit, die auch ein Stundenplan verlangt: einen Plan zu erzeugen, der viele Bedingungen gleichzeitig erfüllt.

Karthik Valmeekam und Kollegen fanden in einem NeurIPS-2023-Spotlight-Paper, das LLMs an Commonsense-Planungsaufgaben nach dem Vorbild der International Planning Competition testete, dass das beste getestete Modell, GPT-4, im Schnitt nur etwa 12 % Erfolgsquote über die untersuchten Bereiche erreichte. Ein Jahr später stellten Jian Xie und Kollegen TravelPlanner vor, einen Praxis-Benchmark mit einem großen, sandboxed Toolset, bei dem GPT-4 als Agent nur 0,6 % seiner Planungsaufgaben erfolgreich abschloss; die Fehler wurden darauf zurückgeführt, dass Agenten mehrere gleichzeitige Bedingungen aus den Augen verlieren, Schwierigkeiten haben, bei der Aufgabe zu bleiben, und die verfügbaren Werkzeuge falsch einsetzen.

Der aktuellste Datenpunkt stammt aus Tests an einem neueren Reasoning-Modell. Karthik Valmeekam, Kaya Stechly und Subbarao Kambhampati testeten OpenAIs o1 an PlanBench und fanden, dass es 97,8 % der Standard-Block-Stapel-Planungsprobleme löste, gegenüber 62,6 % beim besten getesteten einfachen LLM. Das wirkte wie ein echter Sprung, bis dieselben Probleme mit ungewohnten Begriffen umbenannt wurden, um Mustererkennung aus Trainingsdaten zu blockieren: Die Genauigkeit von o1 fiel auf 52,8 % und bei einer weiteren zufälligen Umbenennung auf 37,3 %. Bei größeren Problemen mit 20 oder mehr Lösungsschritten fiel die Genauigkeit auf 23,63 %, und o1 identifizierte nur 27 % der tatsächlich unlösbaren Probleme korrekt als unlösbar. Dieselbe Studie stellte einem klassischen, nicht-LLM-basierten Planer einen Preis gegenüber o1: Das Lösen des Datensatzes kostete 42,12 $ pro 100 Instanzen mit o1-preview und 3,69 $ pro 100 mit o1-mini, während der klassische Planer es zu na hezu keinen Kosten in Sekundenbruchteilen pro Instanz löste, mit einer Korrektheitsgarantie, die die LLM-basierten Ansätze nicht bieten.

Keine dieser drei Studien testet einen Chatbot direkt an den harten und weichen Bedingungen eines Schulstundenplans. Was sie messen, ist die allgemeine Fähigkeit, die auch ein Stundenplan verlangt: viele Bedingungen in einem einzigen Durchgang korrekt zu halten, ohne Möglichkeit, die Antwort vor der Abgabe zu prüfen. Und bei dieser allgemeinen Fähigkeit stimmt das Muster über drei unabhängige Forschungsgruppen und drei unterschiedliche Aufgabentypen mit dem einen Bericht einer echten Anwendung überein.

Das Paper von Valmeekam und Kollegen aus dem Jahr 2023 testete auch einen anderen Aufbau, manchmal „LLM-Modulo“ genannt, bei dem das Modell nicht allein plant: Es liefert heuristische Vorschläge an einen soliden externen Planer, erhält Rückmeldung von einem Prüfer und wird erneut um einen verbesserten Plan gebeten. Dieser kombinierte Aufbau schnitt besser ab, als das Modell allein planen zu lassen, wobei sich zeigte, dass die Vorschläge des Modells die Suche des zugrunde liegenden Planers verbesserten. Das ist auch der Grund, warum dedizierte, solver-gestützte Methoden, darunter Simulated Annealing, genetische Algorithmen, Tabu-Suche und Constraint-Programmierung, ein eigenes Forschungsfeld bleiben, statt durch Prompting ersetzt zu werden. Wie ein solver-gestütztes System Schritt für Schritt einen konfliktfreien Stundenplan erstellt, zeigt der Leitfaden zur automatischen Stundenplanerstellung.

Das alles macht einen Chatbot nicht nützlos rund um einen Stundenplan. Für eine Schule mit einfacher Struktur und wenigen Wahlblöcken ist die Ausgabe klein genug, um sie in ein paar Minuten von Auge zu prüfen, und die Kosten eines ungeprüften Fehlers sind gering. Anders sieht es bei einem Stundenplan einer weiterführenden Schule oder einer Berufsschule mit Wahlblöcken, geteilten Klassen und standortübergreifend eingesetztem Personal aus, wo jede Bedingung gleichzeitig gelten muss und ein Chatbot keine Möglichkeit hat zu bestätigen, dass das der Fall ist.

Wie solver-gestützte automatische Stundenplanung diese Bedingungen in der Praxis prüft: Funktionen zur Schulstundenplanung entdecken.