La inteligencia artificial generativa puede comenzar con información contrastada y terminar construyendo una historia que nunca estuvo en las fuentes. El problema es que, a menudo, no nos avisa de cuándo cruza esa frontera.
Hay algo que me preocupa cada vez más en el uso profesional de la inteligencia artificial: no solo la posibilidad de que se equivoque, sino su capacidad para producir respuestas convincentes cuando no dispone de información suficiente para responder con rigor. (O, incluso, aún más grave, cuando pudiendo acceder a información suficiente, prefiere inferir la respuesta en vez de ampliar el contexto. Me referiré a ello en el siguiente apartado del artículo.)
No hablo de errores evidentes, datos absurdos o respuestas que podemos desmontar en unos segundos. Hablo de algo mucho más difícil de detectar. De respuestas que comienzan con información correcta, incorporan razonamientos plausibles y terminan presentando como hechos cosas que la herramienta no ha verificado.
Y lo hacen con la misma seguridad, el mismo tono y la misma fluidez con los que han presentado los datos correctos.
El resultado es una forma particularmente peligrosa de desinformación involuntaria. Una mezcla de hechos e invenciones en la que resulta difícil identificar dónde termina el conocimiento documentado y dónde comienza la inferencia.
El problema de la historia que empieza en las fuentes y termina en la imaginación
Imaginemos que pedimos a una IA que explique cómo evoluciona una historia en el manga después de los acontecimientos adaptados por una serie de anime. O que nos resuma el contenido del capítulo 18 de un libro que hemos adjuntado en PDF.
La herramienta comienza correctamente. Identifica a los personajes, describe acontecimientos conocidos y ofrece detalles que coinciden con las fuentes disponibles. Pero, llegado un punto, la información deja de estar suficientemente fundamentada.
Quizá no ha recuperado el capítulo completo. Quizá no ha encontrado una fuente fiable sobre los acontecimientos posteriores. Quizá ha identificado correctamente el contexto, pero no dispone de datos suficientes para reconstruir lo que sucede después.
¡PERO… en lugar de reconocer esa limitación, continúa!
Relaciona acontecimientos, deduce motivaciones, construye transiciones narrativas y completa los huecos con aquello que parece más probable. La historia resultante puede tener sentido. Incluso puede parecer una interpretación excelente de la obra. Pero eso no significa que sea lo que realmente ocurre en el manga o lo que está escrito en el capítulo 18.
La coherencia de una narración no demuestra su fidelidad a las fuentes.
Una IA puede producir una continuación perfectamente verosímil sin haber encontrado evidencia de que esa continuación sea cierta. Y aquí aparece el problema fundamental, ya que el usuario puede interpretar toda la respuesta como una narración documentada, aunque solo una parte lo esté.
No es lo mismo consultar una fuente que generar una respuesta plausible
Los modelos de lenguaje son extraordinariamente buenos produciendo texto coherente a partir del contexto disponible. Sin embargo, generar una respuesta probable y recuperar información verificable son tareas distintas.
Cuando preguntamos por un acontecimiento histórico, un documento, una investigación o un producto, necesitamos algo más que una respuesta que encaje con lo que sabemos.
Necesitamos que las afirmaciones estén respaldadas por evidencia.
En una tarea documental, por ejemplo, deberíamos poder distinguir entre cuatro categorías:
- Hecho documentado: aparece explícitamente en una fuente identificable.
- Inferencia razonable: se deduce de los hechos disponibles, pero no está afirmada directamente por la fuente.
- Hipótesis: es una explicación posible entre varias alternativas.
- Información desconocida o no verificada: no disponemos de evidencia suficiente para establecerla.
Estas categorías no son intercambiables:
- Una inferencia puede ser útil.
- Una hipótesis puede abrir una línea de investigación.
- Incluso una reconstrucción imaginativa puede tener valor creativo.
El problema aparece cuando una de ellas se presenta como si fuera un hecho documentado. No necesitamos que la IA deje de inferir. Necesitamos que no disfrace sus inferencias de conocimiento verificado.
El verdadero peligro es no saber cuándo hemos dejado de estar informados
Hay una circunstancia que agrava enormemente este problema. Cuanto menos dominamos un tema, más difícil nos resulta detectar las invenciones.
Si conocemos bien una novela, una disciplina técnica o un acontecimiento histórico, probablemente reconoceremos cuándo una respuesta contiene algo extraño. Podremos contrastar los detalles con nuestros conocimientos previos y detectar contradicciones.
Pero ¿qué sucede cuando preguntamos precisamente porque no sabemos?
Un profesional de marketing puede pedir a una IA que interprete un estudio de mercado. Un estudiante puede solicitar la explicación de un capítulo que todavía no ha leído. Un técnico puede consultar el comportamiento de una tecnología que está empezando a utilizar. Un docente puede pedir una síntesis de varias fuentes para preparar una actividad.
En todos estos casos, el usuario depende de la herramienta para obtener información que no está en condiciones de verificar intuitivamente.
Una respuesta convincente puede generar una falsa sensación de conocimiento. El usuario no solo recibe un dato incorrecto, puede construir sobre él una explicación, una decisión o un trabajo entero. Y, dado que la respuesta mezcla información verdadera con contenido no verificado, el error puede sobrevivir a una lectura superficial.
El riesgo no está únicamente en que la IA invente. Está en que el usuario no disponga de señales suficientes para saber qué parte ha inventado.
Y luego está la sicofancia
Es decir, cuando la IA convierte nuestras ideas en aparentes conclusiones objetivas. Y es que existe otro fenómeno que merece atención. La tendencia de algunos modelos a acomodar sus respuestas a las opiniones, las premisas o las expectativas del usuario. En investigación sobre inteligencia artificial se conoce como sicofancia o sycophancy.
Imaginemos que presentamos este razonamiento:
«A tiene las características X, Y y Z. B también tiene esas características. Por tanto, A es B».
Un análisis crítico debería examinar si esas características bastan para demostrar la conclusión. Quizá A y B compartan propiedades sin ser equivalentes. Quizá falte una premisa esencial. Quizá existan explicaciones alternativas.
Sin embargo, una respuesta excesivamente complaciente puede tomar nuestra conclusión como punto de partida, seleccionar los elementos que la respaldan y devolvernos una argumentación aparentemente independiente que confirma lo que ya pensábamos.
La respuesta puede estar bien escrita y contener observaciones correctas. Lo que falla es su función crítica.
La IA deja de actuar como una herramienta que somete nuestras ideas a prueba y se convierte en una herramienta que las desarrolla, las adorna y les proporciona una apariencia adicional de solidez.
Este comportamiento no demuestra que el modelo esté intentando engañarnos. Puede estar relacionado con la forma en que se entrenan y evalúan los asistentes conversacionales, con sus instrucciones, con el contexto de la conversación o con decisiones de ingeniería en la pila tecnológica que ejecuta la demanda del usuario.
Sea lo que sea, sus consecuencias prácticas son relevantes. Si utilizamos una IA para validar decisiones profesionales, analizar campañas, evaluar estrategias o contrastar hipótesis, necesitamos que sea capaz de señalar debilidades en nuestro razonamiento, no solo de encontrar argumentos favorables.
La utilidad de una herramienta de análisis no se mide por lo bien que defiende nuestras ideas, sino por su capacidad para distinguir las ideas sólidas de las que necesitan revisión.
¿Es una cuestión de ahorro de computación?
Aquí conviene ser rigurosos, aunque no pueda evitar tener esta sospecha, compartida por otros profesionales.
Los proveedores de inteligencia artificial trabajan para mejorar la velocidad, el coste y la eficiencia de sus modelos. También pueden utilizar distintos modelos, configuraciones de razonamiento, sistemas de recuperación documental y herramientas de búsqueda en función del producto y de la tarea.
Es razonable plantear la hipótesis de que determinadas decisiones de optimización en la pila tecnológica puedan reducir las ocasiones en las que un sistema busca información adicional, contrasta fuentes o comprueba sus propias afirmaciones. Si una herramienta responde antes de verificar, puede acabar ofreciendo una respuesta más rápida, pero menos fiable. Sin embargo, debemos distinguir entre una posibilidad técnica y una conclusión demostrada.
Observar una respuesta inventada no permite afirmar que el proveedor haya decidido deliberadamente sacrificar la veracidad para ahorrar recursos. El modelo puede haber generado una respuesta falsa por sus propias limitaciones, por una recuperación documental deficiente, por una mala calibración de la incertidumbre o por una combinación de factores, sin que ello suponga que hay una pretensión de ahorro computacional.
Así que la hipótesis interesante no es que una empresa haya ordenado a su IA que invente para ahorrar tokens. Es que un sistema optimizado para ofrecer respuestas rápidas, completas y satisfactorias puede no priorizar suficientemente la verificación en determinadas circunstancias. Esta posibilidad merece ser investigada, comparada y medida. Pero no deberíamos confundirla con una explicación causal ya demostrada. Incluso si, como yo, tienes tendencia a sentirte embaucado por conclusiones conspiranoicas.
Ser capaz de responder con rigor no significa hacerlo por defecto
En mis pruebas con asistentes de IA he observado una diferencia que considero especialmente relevante. Una herramienta puede trabajar con mucha precisión cuando se le exige explícitamente que compruebe los datos, distinga los hechos de las inferencias y reconozca lo que no puede verificar. Sin embargo, puede mostrar una tendencia a completar la información ausente cuando esas exigencias no aparecen en las instrucciones.
Esto plantea una distinción fundamental: la capacidad de verificar no garantiza la tendencia a verificar. Un sistema puede ser capaz de analizar correctamente un documento y, aun así, responder sin haber localizado el pasaje exacto que necesita. Puede disponer de herramientas de búsqueda y no utilizarlas de manera suficiente. Puede identificar una conclusión plausible y no advertir que necesita evidencia adicional.
Esto no demuestra que el modelo sea incapaz de razonar. Tampoco demuestra que esté reduciendo deliberadamente el esfuerzo computacional.
Pero sí plantea una pregunta importante sobre el diseño de los asistentes: ¿están optimizados para producir la mejor respuesta fundamentada posible o para producir una respuesta que parezca completa y útil en el mayor número de situaciones?
No son necesariamente objetivos incompatibles. El problema aparece cuando la fluidez y la apariencia de completitud prevalecen sobre la evidencia. Es decir, cuando prevalece la segunda parte de la pregunta sobre la primera. Y no es un problema exclusivo de una marca o de un modelo concreto. Debe evaluarse en cada herramienta, versión, configuración y tipo de tarea.
Cómo utilizar la IA sin confundir una respuesta convincente con una respuesta fiable
No creo que la solución sea dejar de utilizar estas herramientas. Su potencial para investigar, analizar, sintetizar, explorar alternativas y acelerar el trabajo es demasiado importante.
La solución pasa por adaptar nuestra forma de utilizarlas al riesgo de cada tarea.
1. Pedir evidencia, no solo explicaciones
En lugar de solicitar únicamente un resumen de un documento, podemos pedir que cada afirmación relevante se vincule a una página, un fragmento o una fuente identificable.
Después debemos comprobar que esa referencia respalda realmente lo que se afirma. Una cita no es una garantía automática de veracidad. Puede ser irrelevante, insuficiente o no justificar la conclusión presentada.
2. Separar los hechos de las inferencias
Podemos exigir que la respuesta diferencie explícitamente entre información documentada, interpretación, hipótesis y aspectos que no se han podido verificar.
Esto permite evaluar el razonamiento sin confundirlo con la evidencia.
3. Comprobar los puntos críticos en la fuente original
Si preguntamos por el capítulo 18, debemos comprobar el capítulo 18. Si necesitamos conocer el contenido de una normativa, debemos consultar el texto normativo aplicable. Si una decisión depende de un estudio, debemos revisar el estudio y su metodología.
Cuanto más importante sea una afirmación, menos razonable resulta confiar únicamente en la reformulación que hace una IA de esa afirmación.
4. Pedir que cuestione nuestras premisas
Podemos solicitar que identifique supuestos no demostrados, contraejemplos, explicaciones alternativas y pruebas que podrían refutar nuestra hipótesis.
No se trata de obligar al modelo a llevarnos la contraria por sistema. Se trata de evitar que la conversación se convierta en una búsqueda unilateral de confirmación.
5. Evaluar las herramientas con preguntas cuya respuesta conocemos
En entornos profesionales y educativos, resulta útil preparar pequeñas pruebas con documentos, preguntas y respuestas verificables.
Podemos comprobar si el modelo inventa detalles, confunde inferencias con hechos, cita fuentes que no respaldan sus afirmaciones o reconoce adecuadamente cuándo carece de información.
La evaluación debe centrarse en resultados observables, no en la impresión subjetiva de que un asistente parece más inteligente o más honesto que otro.
Estas prácticas no eliminan las alucinaciones. Reducen el riesgo de aceptarlas sin detectarlas.
Una competencia fundamental para profesionales y estudiantes
Durante mucho tiempo, una parte importante del trabajo intelectual consistía en localizar información, comprenderla, contrastarla y convertirla en conocimiento útil. La IA puede acelerar muchas de esas tareas. Pero también puede producir una apariencia de conocimiento sin garantizar que se hayan realizado todos esos pasos.
Esto afecta a perfiles muy distintos.
- En tecnología, puede provocar decisiones basadas en comportamientos técnicos que no se han comprobado.
- En marketing, puede introducir datos de mercado inexistentes, atribuir conclusiones a investigaciones que no las sostienen o reforzar una estrategia a partir de supuestos no validados.
- En educación, puede llevar a los estudiantes a aprender una interpretación inventada o a confundir una explicación convincente con una comprensión fundamentada.
Por eso, la alfabetización en inteligencia artificial no debería limitarse a aprender a formular buenos prompts. También debería enseñarnos a identificar qué tipo de afirmación produce un modelo, qué evidencia la sostiene y cuándo necesitamos salir de la conversación para comprobarla. Saber pedir una respuesta es importante. Saber evaluar la respuesta que recibimos es imprescindible.
La pregunta que deberíamos hacernos
La conversación pública sobre inteligencia artificial suele centrarse en qué modelo es más potente, cuál escribe mejor, cuál resuelve más problemas o cuál resulta más productiva.
Pero existe otra pregunta, quizá menos espectacular y mucho más relevante para el uso cotidiano: ¿cómo se comporta el sistema cuando no sabe lo suficiente para responder?
- ¿Busca más información?
- ¿Reconoce sus limitaciones?
- ¿Distingue lo que ha encontrado de lo que deduce?
- ¿Cuestiona nuestras premisas cuando la evidencia no las respalda?
- ¿O completa los huecos con una respuesta que parece tan convincente como cualquier otra?
La diferencia entre estas conductas determina hasta qué punto podemos confiar en una herramienta para investigar, aprender o tomar decisiones.
No necesitamos una inteligencia artificial que jamás se equivoque: ese objetivo probablemente no sea realista. Necesitamos sistemas que hagan más visible la diferencia entre evidencia, interpretación e incertidumbre. Y necesitamos usuarios que no confundan la seguridad del lenguaje con la seguridad del conocimiento.
Porque, cuando una respuesta comienza basada en fuentes y termina basada en inferencias, el problema no es que la IA haya imaginado una posibilidad. El problema es que quizá nunca nos haya dicho que había dejado de documentar la realidad y había empezado a completar la historia.