Une recherche de Microsoft Research et Salesforce a analysé plus de 200 000 dialogues avec des modèles comme GPT-4.1. La principale découverte est que ces systèmes voient leur capacité réduite dans les échanges prolongés et naturels. La précision peut chuter de 90 % sur des questions isolées à près de 65 %, montrant un comportement de ralentissement.
Le problème de la génération prématurée et de la fixation sur les réponses initiales 📉
L'étude attribue le déclin des performances à un mécanisme de génération prématurée. Le modèle forme une réponse interne lors des premières interactions et s'y accroche, même si elle est incorrecte, au lieu de réévaluer le contexte complet. Cette fixation, ajoutée à la tendance à produire des textes 300 % plus longs, augmente la probabilité d'hallucinations et d'erreurs factuelles dans les dialogues complexes.
Quand l'IA décide qu'elle sait déjà ce que vous allez dire (et se trompe) 🤔
C'est comme parler à quelqu'un qui, après avoir entendu le premier mot de votre question, hoche la tête et commence à donner une réponse de vingt minutes. Peu importe que vous lui expliquiez ensuite que vous parliez d'autre chose ; le bot a déjà tracé son plan narratif et va le suivre jusqu'au bout, en ajoutant des fioritures et des données inventées en chemin. La conversation naturelle n'est pas son fort, mais bon, il vous offre des monologues avec une conviction enviable.