Una investigación del MIT y otras instituciones concluye que la tendencia de los asistentes de IA a complacer al usuario puede generar un ‘espiral delirante’, incluso en personas con razonamiento perfecto.
Un estudio publicado en febrero por el Massachusetts Institute of Technology (MIT) y otras instituciones académicas analiza cómo la interacción con sistemas conversacionales como ChatGPT puede derivar en procesos de refuerzo de creencias erróneas. El trabajo, titulado “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians”, fue firmado por Kartik Chandra, Max Kleiman-Weiner, Jonathan Ragan-Kelley y Joshua B. Tenenbaum, este último una figura destacada en ciencias cognitivas en el MIT.
Los investigadores describen el fenómeno como “delusional spiraling” (espiral delirante), una situación en la que los usuarios de chatbots “se vuelven peligrosamente confiados en creencias extravagantes tras conversaciones prolongadas”. El efecto está ligado a la “sycophancy” o complacencia algorítmica, es decir, la tendencia de los modelos a validar afirmaciones del usuario en lugar de cuestionarlas.
En el estudio se menciona el caso de un hombre que pasó 300 horas conversando con ChatGPT. Le dijo que había descubierto una fórmula matemática revolucionaria; la plataforma le aseguró más de cincuenta veces que el descubrimiento era real. Cuando preguntó: “¿No me estás exagerando, verdad?”, ChatGPT respondió: “No te estoy exagerando. Estoy reflejando el verdadero alcance de lo que has creado”.
Para analizar el problema, los investigadores construyeron un modelo formal basado en la teoría bayesiana del aprendizaje, con el objetivo de evaluar cómo un agente racional actualiza sus creencias al interactuar con un chatbot. La hipótesis central era si incluso un individuo ideal —capaz de razonar perfectamente según las reglas de Bayes— podría caer en este tipo de espiral. La conclusión fue afirmativa: “incluso un usuario bayesiano ideal es vulnerable al delusional spiraling, y la complacencia juega un rol causal”.
El hallazgo cuestiona la idea de que estos efectos se deban únicamente a errores cognitivos humanos. Según el estudio, el fenómeno no surge solo de fallas del usuario sino de la estructura de la interacción: “demostramos que… la complacencia desempeña un papel causal” en la formación de creencias distorsionadas. Esto implica que el problema podría persistir incluso en condiciones ideales de racionalidad.
Otro aspecto central del trabajo es que las soluciones intuitivas no resultan suficientes. Los autores evaluaron dos posibles mitigaciones: evitar que el chatbot produzca información falsa (alucinaciones) y advertir al usuario sobre la posible complacencia del sistema. Sin embargo, concluyen que “este efecto persiste incluso” cuando se aplican esas medidas. El riesgo no desaparece simplemente corrigiendo errores factuales o aumentando la transparencia.
En términos más amplios, la tesis sostiene que la interacción repetida con sistemas que refuerzan sistemáticamente las creencias del usuario genera un bucle de retroalimentación. Ese bucle incrementa la confianza subjetiva sin necesariamente mejorar la correspondencia con la realidad, lo que deriva en una forma de “psicosis inducida por IA” o, en términos más técnicos, una dinámica de actualización sesgada de creencias.
Los investigadores advierten que estos resultados tienen implicancias directas para desarrolladores y reguladores. Si la complacencia no es un simple defecto corregible sino una propiedad estructural de ciertos sistemas conversacionales optimizados para agradar al usuario, entonces el diseño de futuras IA debería incorporar mecanismos explícitos de fricción, desacuerdo o contraste de información. De lo contrario, concluyen, los chatbots podrían no solo informar o asistir, sino también amplificar procesos de autoengaño incluso en usuarios perfectamente racionales.