¿Puede ChatGPT crear un horario escolar?

Antes de juzgar si un chatbot puede hacerlo, conviene saber dónde está el listón. Un horario escolar debe satisfacer condiciones estrictas antes de contar siquiera como utilizable: ninguna clase o profesor con solapamientos en un periodo, cada clase con el número de sesiones requerido, profesores asignados solo cuando están disponibles y dentro de los límites de carga, y aulas que coincidan con la capacidad y las necesidades de sala especializada, respetando los tiempos de desplazamiento en centros con varias sedes. Sobre esa base se añaden condiciones flexibles, preferencias de horario y de periodos por profesor, repartir las clases a lo largo de la semana y limitar los periodos libres, que se compensan entre sí en lugar de poder satisfacerse todas a la vez.

Un testimonio práctico sobre la elaboración de horarios de secundaria añade más compromisos a la misma lista: repartir a los profesores entre etapas en lugar de encerrarlos en una sola franja, evitar clases divididas cuando sea posible, y equilibrar la estabilidad en la asignación de aulas frente al aprovechamiento general. Son muchas reglas que interactúan a la vez, no una única pregunta con una sola respuesta correcta.

En el foro de la comunidad de OpenAI, un usuario que construía un generador de horarios escolares basado en ChatGPT informó de que el modelo no podía resolver conflictos de solapamiento de profesores entre distintos cursos, y preguntó cómo entrenarlo para esa tarea. Un segundo usuario en el mismo hilo informó del mismo problema, sin que se ofreciera solución. Ambos describen el mismo fallo: el modelo genera una asignación pero no detecta el conflicto que acaba de crear.

Ese único informe encaja con una tendencia más amplia en la investigación sobre planificación. Ninguno de los siguientes estudios se realizó sobre horarios escolares en sí, pero todos evalúan la misma capacidad subyacente que también exige un horario: generar un plan que satisfaga muchas condiciones a la vez.

Karthik Valmeekam y sus colegas, en un artículo destacado de NeurIPS 2023 que evaluaba LLM en tareas de planificación de sentido común basadas en los puntos de referencia de la International Planning Competition, encontraron que el mejor modelo probado, GPT-4, alcanzó solo alrededor de un 12 % de tasa de éxito media en los dominios evaluados. Un año después, Jian Xie y sus colegas presentaron TravelPlanner, una prueba de referencia de planificación del mundo real construida sobre un amplio conjunto de herramientas en sandbox, y encontraron que GPT-4 actuando como agente completó con éxito solo el 0,6 % de sus tareas de planificación, con fallos atribuidos a que los agentes perdían de vista varias condiciones simultáneas, tenían dificultades para mantenerse en la tarea y usaban mal las herramientas disponibles.

El dato más reciente proviene de probar un modelo de razonamiento más nuevo. Karthik Valmeekam, Kaya Stechly y Subbarao Kambhampati evaluaron o1 de OpenAI en PlanBench y encontraron que resolvía el 97,8 % de los problemas estándar de apilado de bloques, frente al 62,6 % del mejor LLM simple probado. Eso parecía un salto real, hasta que los mismos problemas se renombraron con términos poco familiares para bloquear el reconocimiento de patrones de los datos de entrenamiento: la precisión de o1 cayó al 52,8 %, y al 37,3 % con un nuevo renombrado aleatorio. En problemas más grandes que necesitaban 20 o más pasos de solución, la precisión cayó al 23,63 %, y o1 identificó correctamente solo el 27 % de los problemas genuinamente irresolubles como irresolubles. El mismo artículo comparó el coste de un planificador clásico, no basado en LLM, frente a o1: resolver el conjunto de datos costó 42,12 $ por cada 100 instancias con o1-preview y 3,69 $ por cada 100 con o1-mini, mientras que el planificador clásico lo resolvía a un coste cercano a cero en una fracción de segundo por instancia, con una garantía de corrección que los enfoques basados en LLM no ofrecen.

Ninguno de estos tres estudios evalúa un chatbot frente a las condiciones estrictas y flexibles específicas de un horario escolar. Lo que miden es la capacidad general que también exige un horario: mantener correctas muchas condiciones a la vez en un único intento, sin forma de comprobar la respuesta antes de entregarla, y en esa capacidad general el patrón coincide entre tres grupos de investigación distintos y tres tipos de tarea diferentes con el único informe de alguien que lo intentó de verdad.

El artículo de 2023 de Valmeekam y sus colegas también evaluó una configuración distinta, a veces llamada "LLM-Modulo", en la que el modelo no planifica solo: aporta sugerencias heurísticas a un planificador externo sólido, recibe retroalimentación de un verificador, y se le pide de nuevo un plan mejorado. Esa configuración combinada rindió mejor que dejar que el modelo planificara por su cuenta, y se demostró que las sugerencias del modelo mejoraban la búsqueda del planificador subyacente. Es también la razón por la que los métodos dedicados basados en solvers, entre ellos el recocido simulado, los algoritmos genéticos, la búsqueda tabú y la programación por restricciones, siguen siendo un campo de estudio propio en lugar de ser sustituidos por el uso de prompts. Vea cómo un sistema basado en un solver construye paso a paso un horario sin conflictos en la guía de generación automática de horarios.

Nada de esto hace que un chatbot sea inútil cerca de un horario. Para un centro con una estructura sencilla y pocos bloques optativos, el resultado es lo bastante pequeño como para revisarlo a simple vista en un par de minutos, y el coste de un error no verificado es bajo. Es una situación distinta de un horario de secundaria o de formación profesional con bloques optativos, clases divididas y personal que trabaja en varias sedes, donde cada condición debe cumplirse a la vez y un chatbot no tiene forma de confirmar que lo hace.

Vea cómo la planificación automática basada en un solver comprueba esas condiciones en la práctica: explore las funciones de horarios escolares.