ChatGPT peut-il créer un emploi du temps scolaire ?

Avant de juger si un chatbot peut le faire, il est utile de connaître le niveau attendu. Un emploi du temps scolaire doit satisfaire des contraintes strictes avant même de compter comme utilisable : aucune classe ni aucun enseignant en double engagement sur un créneau, chaque classe programmée pour son nombre requis de séances, des enseignants programmés seulement quand ils sont disponibles et dans les limites de charge de travail, et des salles adaptées à la capacité et aux besoins de salles spécialisées, avec les temps de trajet respectés sur les établissements multi-sites. À cela s'ajoutent des contraintes souples, préférences d'horaires et de créneaux par enseignant, répartition des cours sur la semaine, limitation des heures creuses, qui s'arbitrent entre elles plutôt que d'être toutes satisfaisables à la fois.

Un retour d'expérience sur la construction d'emplois du temps de collège et lycée ajoute d'autres arbitrages à cette liste : répartir les enseignants entre les niveaux plutôt que de les cantonner à un seul groupe, éviter les classes scindées quand c'est possible, et arbitrer entre la stabilité de l'attribution des salles et le taux d'occupation global. Ce sont de nombreuses règles qui interagissent à la fois, pas une simple question avec une seule bonne réponse.

Sur le forum de la communauté OpenAI, un utilisateur construisant un générateur d'emploi du temps scolaire basé sur ChatGPT a signalé que le modèle ne parvenait pas à résoudre les conflits de double engagement d'enseignants entre niveaux, et a demandé comment l'entraîner pour cette tâche. Un second utilisateur du même fil a signalé le même problème, sans qu'aucune solution ne soit proposée. Les deux décrivent le même défaut : le modèle produit une affectation mais ne détecte pas le conflit qu'il vient de créer.

Ce signalement isolé s'inscrit dans une tendance plus large de la recherche sur la planification. Aucune des études ci-dessous n'a été menée sur l'emploi du temps scolaire lui-même, mais toutes évaluent la même compétence sous-jacente qu'exige aussi un emploi du temps : produire un plan qui satisfait de nombreuses contraintes à la fois.

Karthik Valmeekam et ses collègues, dans un article distingué à NeurIPS 2023 testant des LLM sur des tâches de planification de bon sens conçues pour ressembler aux références de l'International Planning Competition, ont constaté que le meilleur modèle testé, GPT-4, n'atteignait qu'environ 12 % de taux de réussite moyen sur les domaines évalués. Un an plus tard, Jian Xie et ses collègues ont présenté TravelPlanner, une référence de planification en conditions réelles construite autour d'un large ensemble d'outils en bac à sable, et ont constaté que GPT-4 agissant comme agent ne complétait avec succès que 0,6 % de ses tâches de planification, les échecs étant attribués au fait que les agents perdaient de vue plusieurs contraintes simultanées, peinaient à rester concentrés sur la tâche, et utilisaient mal les outils disponibles.

La donnée la plus récente provient du test d'un modèle de raisonnement plus récent. Karthik Valmeekam, Kaya Stechly et Subbarao Kambhampati ont évalué o1 d'OpenAI sur PlanBench et ont constaté qu'il résolvait 97,8 % des problèmes standards d'empilement de blocs, contre 62,6 % pour le meilleur LLM simple testé. Cela ressemblait à un vrai bond en avant, jusqu'à ce que les mêmes problèmes soient renommés avec des termes inhabituels pour bloquer la reconnaissance de motifs issue des données d'entraînement : la précision d'o1 est tombée à 52,8 %, puis à 37,3 % avec un nouveau renommage aléatoire. Sur des problèmes plus grands nécessitant 20 étapes de résolution ou plus, la précision est tombée à 23,63 %, et o1 n'a identifié correctement que 27 % des problèmes réellement insolubles comme insolubles. Le même article a comparé le coût d'un planificateur classique, non basé sur un LLM, à celui d'o1 : résoudre le jeu de données coûtait 42,12 $ pour 100 instances avec o1-preview et 3,69 $ pour 100 avec o1-mini, tandis que le planificateur classique le résolvait à un coût proche de zéro en une fraction de seconde par instance, avec une garantie de correction que les approches basées sur un LLM n'offrent pas.

Aucune de ces trois études n'évalue un chatbot face aux contraintes strictes et souples propres à un emploi du temps scolaire. Ce qu'elles mesurent, c'est la compétence générale qu'exige aussi un emploi du temps : maintenir correctes de nombreuses contraintes à la fois en un seul passage, sans moyen de vérifier la réponse avant de la restituer, et sur cette compétence générale, le schéma observé dans trois groupes de recherche distincts et trois types de tâches différents correspond à l'unique signalement de quelqu'un l'ayant réellement tenté.

L'article de 2023 de Valmeekam et ses collègues a aussi testé une configuration différente, parfois appelée « LLM-Modulo », où le modèle ne planifie pas seul : il fournit des suggestions heuristiques à un planificateur externe fiable, reçoit un retour d'un vérificateur, puis se voit redemander un plan amélioré. Cette configuration associée a mieux performé que de laisser le modèle planifier seul, les suggestions du modèle se révélant améliorer la recherche du planificateur sous-jacent. C'est aussi pourquoi des méthodes dédiées appuyées sur un solveur, parmi lesquelles le recuit simulé, les algorithmes génétiques, la recherche tabou et la programmation par contraintes, restent un champ d'étude à part entière plutôt que d'être remplacées par le prompting. Découvrez comment un système appuyé sur un solveur construit étape par étape un emploi du temps sans conflit dans le guide de génération automatique d'emploi du temps.

Rien de tout cela ne rend un chatbot inutile près d'un emploi du temps. Pour un établissement à structure simple avec peu de blocs optionnels, le résultat est assez restreint pour être vérifié à l'œil en quelques minutes, et le coût d'une erreur non vérifiée reste faible. C'est une situation différente pour un emploi du temps de collège, lycée ou établissement professionnel avec blocs optionnels, classes scindées et personnel intervenant sur plusieurs sites, où chaque contrainte doit tenir à la fois et où un chatbot n'a aucun moyen de confirmer que c'est le cas.

Découvrez comment la planification automatique appuyée sur un solveur vérifie ces contraintes en pratique : découvrir les fonctionnalités d'emploi du temps scolaire.