Investigadores del MIT desarrollan un método que permite a los modelos de lenguaje aprender y retener nueva información, mejorando su rendimiento en tareas de preguntas y respuestas mediante un proceso similar al estudio humano.
En un aula del MIT, un profesor imparte una lección mientras los estudiantes toman notas con la esperanza de revisar y asimilar la información clave antes de un examen. Aunque los humanos tienen la capacidad de aprender nueva información, los modelos de lenguaje grandes (LLMs) no pueden hacerlo de la misma manera. Una vez que un LLM ha sido completamente entrenado y desplegado, su "cerebro" se vuelve estático y no puede adaptarse permanentemente a nuevos conocimientos.
Esto implica que si un usuario comparte información importante con un LLM hoy, el modelo no recordará ese dato en futuras interacciones. Sin embargo, investigadores del MIT han desarrollado un nuevo enfoque que permite a estos modelos actualizarse para internalizar nueva información de forma permanente. Al igual que un estudiante, el LLM genera sus propias hojas de estudio a partir de la entrada del usuario, utilizando este material para memorizar la información mediante actualizaciones en su funcionamiento interno.
El modelo crea múltiples autoediciones para aprender de una sola entrada y aplica cada una para determinar cuál mejora más su rendimiento. Este proceso de prueba y error enseña al modelo la mejor manera de entrenarse a sí mismo. Los investigadores han descubierto que esta técnica mejora la precisión de los LLMs en tareas de respuesta a preguntas y reconocimiento de patrones, permitiendo incluso que un modelo pequeño supere a modelos mucho más grandes.
A pesar de las limitaciones existentes, esta técnica podría ayudar algún día a los agentes de inteligencia artificial a adaptarse consistentemente a nuevas tareas y alcanzar objetivos cambiantes en entornos en evolución. “Al igual que los humanos, los sistemas complejos de IA no pueden permanecer estáticos durante toda su vida. Estos LLMs no se despliegan en entornos fijos; enfrentan constantemente nuevos inputs”, afirma Jyothish Pari, estudiante graduado del MIT y coautor principal del estudio.
Los LLMs son modelos de redes neuronales con miles de millones de parámetros que contienen el conocimiento del modelo y procesan entradas para hacer predicciones. Durante el entrenamiento, el modelo ajusta estos parámetros para aprender nueva información contenida en sus datos. Sin embargo, una vez desplegados, estos pesos son estáticos y no pueden actualizarse permanentemente.
No obstante, los LLMs son muy efectivos en un proceso conocido como aprendizaje en contexto, donde un modelo entrenado aprende una nueva tarea al ver algunos ejemplos. Estos ejemplos guían las respuestas del modelo, pero el conocimiento se pierde antes de la siguiente conversación.
Los investigadores del MIT buscaron aprovechar las potentes capacidades de aprendizaje en contexto del modelo para enseñarle cómo actualizar permanentemente sus pesos al encontrar nueva información. El marco que desarrollaron, denominado SEAL (por sus siglas en inglés: *self-adapting LLMs*), permite a un LLM generar nuevos datos sintéticos basados en una entrada y luego determinar la mejor manera de adaptarse y aprender a partir de esos datos.
En términos lingüísticos, el LLM crea datos sintéticos reescribiendo la información y sus implicaciones contenidas en un pasaje dado. Este proceso es similar al que siguen los estudiantes al elaborar hojas de estudio mediante la reescritura y resumen del contenido original. El LLM realiza esto varias veces y luego se evalúa sobre cada autoedición para identificar cuál generó el mayor aumento en su rendimiento en tareas posteriores como responder preguntas.
A través del método conocido como aprendizaje por refuerzo, donde recibe recompensas por mejorar su rendimiento, el modelo memoriza la mejor hoja de estudio actualizando sus pesos para internalizar esa información específica. “Nuestra esperanza es que el modelo aprenda a crear la mejor hoja de estudio —una que tenga la longitud adecuada y diversidad informativa— lo cual llevará a mejorar el propio modelo”, explica Adam Zweiger, coautor principal del estudio.
Este marco también permite al modelo elegir cómo desea aprender la información. Por ejemplo, puede seleccionar qué datos sintéticos utilizará, la velocidad a la que aprende y cuántas iteraciones quiere realizar durante su entrenamiento. Así, no solo genera su propio conjunto de datos para entrenar sino que también configura cómo aplicar esas autoediciones a sus pesos.
"Como seres humanos sabemos cómo aprendemos mejor; queremos otorgar esa misma capacidad a los modelos de lenguaje grandes", señala Pari. SEAL ha superado varios métodos básicos en diversas tareas, incluyendo el aprendizaje de nuevas habilidades con pocos ejemplos e incorporando conocimientos extraídos de pasajes textuales. En cuanto a respuestas correctas, SEAL incrementó la precisión del modelo casi un 15%, mientras que en algunas tareas relacionadas con habilidades logró aumentar la tasa de éxito más del 50%.
No obstante, uno de los desafíos es enfrentar lo que se conoce como olvido catastrófico: conforme el modelo se adapta repetidamente a nueva información, su rendimiento en tareas anteriores tiende a disminuir lentamente. Los investigadores planean abordar este problema en futuros trabajos e implementar esta técnica dentro de configuraciones multiagente donde varios LLMs puedan entrenarse entre sí.
"Una barrera clave para lograr LLMs capaces de realizar investigaciones científicas significativas es su incapacidad para actualizarse basándose en interacciones con nueva información", concluye Zweiger. Aunque aún queda camino por recorrer hacia modelos totalmente autoadaptativos desplegados, esperan desarrollar sistemas capaces eventualmente de aprender así y contribuir al avance científico."