La deriva IA (AI Drift, en inglés), es un fenómeno en el que el comportamiento o el rendimiento de un modelo de IA cambia gradualmente con el tiempo. Este cambio puede ser causado por una variedad de factores, como la actualización del modelo con nueva información, el uso del modelo por más personas o la interacción del modelo con el mundo real. En otras palabras, las respuestas del modelo de IA, a medida que va actualizándose con nuevos datos e interactuando con los humanos, son menos inteligentes y relevantes en comparación con cuando se puso en marcha.
En un reciente estudio realizado por investigadores de las universidades de Stanford y Berkeley: How Is ChatGPT’s Behavior Changing over Time?, detectaron que la deriva se está manifestando en los modelos de la IA de OpenAI.
Los investigadores compararon las respuestas de los modelos GPT-3.5 (marzo 2023) y GPT-4 (junio de 2023) para diversas tareas como: resolución de problemas de matemáticas, preguntas sensibles o peligrosas, encuestas de opinión, generación de código o razonamiento visual, entre otros, y encontraron que el rendimiento y el comportamiento del ‘mismo’ servicio LLM puede cambiar sustancialmente en un período de tiempo relativamente corto.
Por ejemplo, el rendimiento de GPT-4 en problemas de matemáticas se redujo de un 84 % de precisión en marzo de 2023 a un 51 % de precisión en junio de 2023. Esto se explica, en parte, por una caída en la capacidad de GPT-4 para seguir las indicaciones de la cadena de pensamientos, es decir, la secuencia o serie de ideas, conceptos o pasos lógicos que se conectan entre sí en el proceso de razonamiento de una IA. GPT-4 también se volvió menos dispuesto a responder ciertas preguntas delicadas o preguntas de encuestas de opinión en junio de 2023. El rendimiento de GPT-4 en preguntas de saltos múltiples (el encadenamiento entre preguntas y respuestas) mejoró en junio de 2023, mientras que el rendimiento de GPT-3.5 en esta tarea disminuyó. Tanto GPT-4 como GPT-3.5 tuvieron más errores de formato en la generación de código en junio de 2023.
Los autores del artículo argumentan que la deriva de IA se está manifestando con ChatGPT y, por tanto, concluyen que el comportamiento de los LLM puede cambiar sustancialmente en un período de tiempo relativamente corto. Lo que destaca la necesidad de un seguimiento continuo de los LLM.
El estudio también analiza algunas de las razones por las que el comportamiento de los LLM puede cambiar con el tiempo. Estas incluyen:
- Una actualización constante con nuevos datos. En efecto, ChatGPT se actualiza con una entrada masiva de textos en Internet y, por tanto, una parte significativa de estos incluyen información sesgada o inexacta, influyendo, obviamente, en el ‘razonamiento’ y las respuestas de la IA.
- Los modelos están siendo utilizados por más personas, lo que puede afectar su comportamiento, volviéndose más susceptibles a los sesgos humanos.
- Los modelos están expuestos a nueva información, experiencias y ajustes, que también pueden afectar su comportamiento.
Los autores del artículo argumentan que los hallazgos resaltan la necesidad de un seguimiento continuo de los LLM. Esto se debe a que los cambios en el comportamiento pueden ser difíciles de predecir y pueden tener un impacto significativo en la forma en cómo se usan y recomiendan a los usuarios o empresas que confían en servicios LLM como un componente en sus flujos de trabajo cotidianos que implemente análisis de seguimiento en sus aplicaciones para garantizar la fiabilidad.
Los autores, para fomentar una mayor investigación sobre las derivas LLM, han publicado los datos empleados en la evaluación y las respuestas de ChatGPT en https://github.com/lchen001/LLMDrift.
Deja una respuesta