ChatGPT può creare un orario scolastico?

Prima di giudicare se un chatbot può farlo, aiuta sapere qual è l'asticella. Un orario scolastico deve soddisfare vincoli rigidi prima ancora di poter essere considerato utilizzabile: nessuna classe o docente sovrapposti in un'ora, ogni classe programmata per il numero di incontri richiesto, docenti programmati solo quando disponibili e nei limiti del carico orario, e aule adeguate per capienza e per esigenze di aule speciali, con i tempi di spostamento rispettati nelle scuole multi-sede. Sopra questa base si aggiungono vincoli morbidi, preferenze di orario e di periodo per docente, distribuzione delle lezioni durante la settimana e limitazione delle ore buche, che si bilanciano tra loro invece di poter essere tutti soddisfatti insieme.

Una testimonianza pratica sulla costruzione di orari nella scuola secondaria aggiunge altri compromessi alla stessa lista: distribuire i docenti tra i diversi anni invece di confinarli in un'unica fascia, evitare classi divise quando possibile, e bilanciare la stabilità nell'assegnazione delle aule con l'utilizzo complessivo. Sono molte regole che interagiscono contemporaneamente, non una singola domanda con un'unica risposta corretta.

Sul forum della community OpenAI, un utente che stava costruendo un generatore di orari scolastici basato su ChatGPT ha segnalato che il modello non riusciva a risolvere i conflitti di sovrapposizione dei docenti tra classi diverse, e ha chiesto come addestrarlo per questo compito. Un secondo utente nello stesso thread ha segnalato lo stesso identico problema, senza che venisse offerta una soluzione. Entrambi descrivono lo stesso errore: il modello produce un'assegnazione ma non rileva il conflitto che ha appena creato.

Questa singola segnalazione si allinea a una tendenza più ampia nella ricerca sulla pianificazione. Nessuno degli studi seguenti è stato condotto sull'orario scolastico in sé, ma tutti valutano la stessa abilità di fondo richiesta anche da un orario: generare un piano che soddisfi molti vincoli contemporaneamente.

Karthik Valmeekam e colleghi, in un paper spotlight a NeurIPS 2023 che testava gli LLM su compiti di pianificazione di senso comune costruiti per assomigliare ai benchmark dell'International Planning Competition, hanno trovato che il miglior modello testato, GPT-4, raggiungeva solo circa il 12% di tasso di successo medio nei domini valutati. Un anno dopo, Jian Xie e colleghi hanno presentato TravelPlanner, un benchmark di pianificazione nel mondo reale costruito attorno a un ampio set di strumenti in sandbox, trovando che GPT-4, agendo come agente, completava con successo solo lo 0,6% dei suoi compiti di pianificazione, con errori attribuiti al fatto che gli agenti perdevano di vista più vincoli simultanei, faticavano a restare concentrati sul compito e usavano male gli strumenti disponibili.

Il dato più recente proviene dal test di un modello di ragionamento più nuovo. Karthik Valmeekam, Kaya Stechly e Subbarao Kambhampati hanno valutato o1 di OpenAI su PlanBench e hanno trovato che risolveva il 97,8% dei problemi standard di impilamento di blocchi, contro il 62,6% del miglior LLM semplice testato. Sembrava un salto reale, finché gli stessi problemi non sono stati rietichettati con termini non familiari per bloccare il pattern-matching derivato dai dati di addestramento: l'accuratezza di o1 è scesa al 52,8%, e al 37,3% con un'ulteriore rietichettatura casuale. Su problemi più grandi che richiedevano 20 o più passaggi di soluzione, l'accuratezza è scesa al 23,63%, e o1 ha identificato correttamente solo il 27% dei problemi davvero irrisolvibili come tali. Lo stesso paper ha confrontato il costo di un pianificatore classico, non basato su LLM, con o1: risolvere il dataset costava 42,12 $ ogni 100 istanze con o1-preview e 3,69 $ ogni 100 con o1-mini, mentre il pianificatore classico lo risolveva a un costo prossimo allo zero in una frazione di secondo per istanza, con una garanzia di correttezza che gli approcci basati su LLM non offrono.

Nessuno di questi tre studi valuta un chatbot rispetto ai vincoli rigidi e morbidi specifici di un orario scolastico. Ciò che misurano è l'abilità generale richiesta anche da un orario: mantenere corretti molti vincoli contemporaneamente in un unico tentativo, senza modo di verificare la risposta prima di consegnarla, e su questa abilità generale lo schema tra tre gruppi di ricerca distinti e tre tipi di compito diversi coincide con l'unica segnalazione di chi ci ha davvero provato.

Il paper del 2023 di Valmeekam e colleghi ha testato anche una configurazione diversa, a volte chiamata "LLM-Modulo", in cui il modello non pianifica da solo: fornisce suggerimenti euristici a un solido pianificatore esterno, riceve un riscontro da un verificatore, e viene richiesto di nuovo un piano migliorato. Questa configurazione abbinata ha ottenuto risultati migliori rispetto a lasciare che il modello pianificasse da solo, e i suggerimenti del modello si sono dimostrati capaci di migliorare la ricerca del pianificatore sottostante. È anche il motivo per cui metodi dedicati basati su solver, tra cui simulated annealing, algoritmi genetici, ricerca tabu e programmazione a vincoli, restano un campo di studio a sé stante invece di essere sostituiti dal prompting. Scopri come un sistema basato su un solver costruisce passo dopo passo un orario privo di conflitti nella guida alla generazione automatica dell'orario.

Nulla di tutto ciò rende un chatbot inutile in ambito di orari. Per una scuola con una struttura semplice e pochi blocchi opzionali, il risultato è abbastanza contenuto da poter essere verificato a colpo d'occhio in un paio di minuti, e il costo di un errore non verificato è basso. È una situazione diversa per un orario di scuola secondaria o professionale con blocchi opzionali, classi divise e personale che lavora su più sedi, dove ogni vincolo deve valere contemporaneamente e un chatbot non ha modo di confermare che sia così.

Scopri come la pianificazione automatica basata su un solver verifica questi vincoli nella pratica: esplora le funzionalità per gli orari scolastici.