Los modelos de IA pierden precisión en conversaciones largas, según estudio 🤖

Una investigación de Microsoft Research y Salesforce analizó más de 200.000 diálogos con modelos como GPT-4.1. El hallazgo principal es que estos sistemas ven reducida su capacidad en intercambios prolongados y naturales. La precisión puede caer desde un 90% en preguntas aisladas hasta cerca de un 65%, mostrando un comportamiento de entorpecimiento.

El problema de la generación prematura y la fijación en respuestas iniciales 📉

El estudio atribuye el declive en el rendimiento a un mecanismo de generación prematura. El modelo forma una respuesta interna en las primeras interacciones y se aferra a ella, incluso si es incorrecta, en lugar de reevaluar el contexto completo. Esta fijación, sumada a la tendencia a producir textos un 300% más largos, incrementa la probabilidad de alucinaciones y errores factuales en diálogos complejos.

Cuando la IA decide que ya sabe lo que vas a decir (y se equivoca) 🤔

Es como hablar con alguien que, tras oír la primera palabra de tu pregunta, asiente con la cabeza y empieza a dar una respuesta de veinte minutos. Da igual que luego le detalles que te referías a otra cosa; el bot ya ha trazado su plan narrativo y lo va a seguir hasta el final, añadiendo florituras y datos inventados por el camino. La conversación natural no es su fuerte, pero vaya, te ofrece monólogos con una convicción envidiable.