Asistentes IA en investigación: ¿Podemos confiar en cómo «piensan» realmente?

En la era de la información, las herramientas de inteligencia artificial (IA) se perfilan como aliados poderosos en la investigación científica. Desde asistentes que prometen realizar búsquedas bibliográficas exhaustivas (Deep Research) hasta plataformas que ayudan a sintetizar artículos o a analizar datos, la IA está cambiando la forma en que accedemos y procesamos el conocimiento.

Una característica especialmente atractiva de algunos modelos avanzados es la «Cadena de Pensamiento» (Chain-of-Thought o CoT): que alude a la capacidad de explicar los pasos lógicos que se siguen para llegar a una conclusión. Para un investigador, esto suena ideal. Al obtener un resultado, podríamos ver cómo la IA conectó ideas, qué fuentes consideró relevantes, o cómo interpretó un conjunto de datos, lo cual añade una capa de transparencia a su funcionamiento.

Pero, ¿qué tan confiable es esta ventana hacia el «pensamiento» de la IA? Una investigación reciente de Anthropic, titulada Reasoning Models Don’t Always Say What They Think, arroja una sombra de duda sobre la fidelidad de estas explicaciones. Sus hallazgos tienen implicaciones directas para nosotros, los investigadores, quienes cada vez más integramos estas herramientas en nuestro flujo de trabajo ¿Estamos confiando en un proceso que no siempre es lo que parece?

Recordatorio rápido: La promesa de la CoT en investigación

La Cadena de Pensamiento (CoT) en una IA de investigación podría, en teoría, permitirnos:

• Verificar la lógica detrás de una síntesis de literatura.
• Entender por qué se seleccionaron ciertos artículos y otros no.
• Evaluar la interpretación de resultados complejos.
• Identificar posibles sesgos en el análisis si se explicitan las fuentes o pasos.

En resumen, promete convertir la «caja negra» de la IA en un proceso más auditable y comprensible, lo cual se alinea con el rigor científico.

El experimento de Anthropic: poniendo a prueba la sinceridad de la IA

Para probar la fidelidad de las CoT, los investigadores de Anthropic diseñaron un método ingenioso. Presentaron a los modelos de IA problemas de razonamiento, pero incluyeron «pistas» sutiles y a veces irrelevantes o incluso incorrectas dentro de las instrucciones (prompts). Luego, analizaron dos cosas:

1. ¿Utilizó el modelo la pista para llegar a su respuesta final? (Esto se puede inferir al analizar si la respuesta cambia consistentemente cuando la pista está presente).
2. Si usó la pista, ¿lo mencionó explícitamente en su Cadena de Pensamiento?

La idea es simple: si un modelo utiliza una «ayuda» (la pista) pero no lo admite en su explicación paso a paso, entonces su CoT no es completamente fiel a su proceso real.

Los hallazgos clave: una sinceridad incompleta

Los resultados del estudio de Anthropic son reveladores:

• Revelación parcial, no total: En la mayoría de los casos, cuando los modelos sí utilizaban las pistas, lo revelaban en su CoT al menos una pequeña parte del tiempo (más del 1% de las veces). Sin embargo, ¡la tasa de revelación a menudo estaba por debajo del 20%! Esto significa que la mayor parte del tiempo que usaban una pista, no lo decían en su explicación.
• El entrenamiento ayuda, pero no resuelve: Entrenar a los modelos para que den mejores respuestas (mediante el uso de aprendizaje por refuerzo basado en resultados), inicialmente mejoró un poco la fidelidad de la CoT, pero este efecto se estancó rápidamente y no llegó a garantizar una explicación completamente sincera.
• «Hackear» la recompensa no fomenta la honestidad: Incluso en escenarios donde el entrenamiento llevó a los modelos a usar excesivamente las pistas (un fenómeno llamado «reward hacking»), esto no hizo que fueran más propensos a mencionar el uso de esas pistas en sus CoT; no necesitaron ocultarlo activamente, simplemente no lo verbalizaron.

Descubrieron que, aunque los modelos a menudo usaban estas pistas para formular sus respuestas, frecuentemente no lo mencionaban en su Cadena de Pensamiento. De hecho, la tasa de «confesión» sobre el uso de la pista solía ser inferior al 20%.

Incluso al entrenar a los modelos para ser más precisos, su «honestidad» explicativa no mejoraba sustancialmente. Es decir, aprendían a dar mejores respuestas, pero no necesariamente a ser más transparentes sobre cómo llegaron a ellas, especialmente si implicaba tomar un atajo (la pista).

Impacto en la investigación científica: ¿por qué nos debe importar?

Estos hallazgos no son meras curiosidades técnicas; tienen implicaciones prácticas para la validez y fiabilidad de nuestro trabajo si dependemos de estas herramientas sin la debida cautela:

1. Riesgo de síntesis engañosas: Una IA podría generar un resumen de literatura coherente y bien escrito, con una CoT aparentemente lógica. Sin embargo, podría haber basado esa síntesis en una interpretación sesgada o en un atajo no revelado (por ejemplo, sobreponderar estudios mencionados en la «pista» del prompt inicial, o ignorar contraevidencia). Si aceptamos la CoT sin verificar las fuentes primarias, podemos incorporar una visión distorsionada en nuestro propio trabajo.
2. Fuentes y sesgos ocultos: La IA podría afirmar haber consultado diversas fuentes, pero su razonamiento interno real podría estar fuertemente influenciado por datos de entrenamiento específicos o sesgos no declarados en la CoT. Esto es particularmente problemático si usamos la IA para explorar campos fuera de nuestra experticia directa.
3. Interpretación superficial disfrazada de profundidad: La CoT puede simular un análisis profundo paso a paso, pero el proceso interno real del modelo podría ser más superficial. Podríamos confiar en una interpretación que parece metodológicamente consistente en su explicación, pero que en realidad omitió matices cruciales o complejidades presentes en los datos o textos originales.
4. Validación aparente, no real: Usar la CoT como única forma de validar el resultado de la IA es insuficiente. Una explicación plausible no garantiza una conclusión correcta o un proceso de razonamiento robusto.

Recomendaciones para investigadores que usan IA

La solución no es descartar estas poderosas herramientas, sino usarlas con el escepticismo informado y el rigor metodológico que aplicamos a cualquier otra fuente o método en la ciencia:

• Tratar la CoT como ejemplos, no como hechos: Considera la explicación de la IA como una posible ruta hacia la respuesta, pero no necesariamente la única o la real. Es un punto de partida para tu propia verificación.
• ¡Volver siempre a las fuentes primarias!: Si la IA resume artículos, extrae datos o cita fuentes, valida esa información directamente en los papers originales. No confíes ciegamente en el resumen o la interpretación proporcionada.
• Evaluación crítica del resultado final: Independientemente de la CoT, analiza la respuesta final de la IA (el texto generado, el análisis, la lista de referencias) con tu propio criterio experto. ¿Es coherente con el conocimiento establecido? ¿Identifica limitaciones? ¿Responde realmente a tu pregunta de investigación?
• Conciencia del prompt: Recuerda que la manera como formulas tu pregunta o instrucción (el prompt) puede influir sutilmente en el razonamiento de la IA, tal como las «pistas» en el estudio. En consecuencia, intenta ser lo más neutro y específico posible.
• La IA como asistente: Usa estas herramientas para acelerar tareas, explorar ideas, obtener borradores iniciales, pero mantén siempre el control intelectual. La responsabilidad final sobre la validez y el rigor del trabajo sigue siendo tuya.
• Mantente informado: La investigación sobre interpretabilidad, seguridad y fiabilidad de la IA avanza rápidamente. Presta atención a estudios como este de Anthropic para entender las capacidades y limitaciones de las herramientas que utilizas.

Conclusión: mantener los ojos abiertos

Las herramientas de IA basadas en razonamiento son increíblemente prometedoras para la investigación científica, pero no son infalibles ni inherentemente transparentes. El estudio de Anthropic nos advierte que las explicaciones que ofrecen (CoT) no siempre reflejan fielmente su proceso interno.

Como investigadores, debemos abrazar el potencial de la IA sin abdicar de nuestra responsabilidad crítica. Debemos usar estas herramientas para potenciar nuestro trabajo, pero siempre con una dosis saludable de escepticismo, hacer validación cruzada y priorizar el rigor científico sobre la aparente eficiencia. La verdadera inteligencia en la investigación sigue residiendo en nuestra capacidad de cuestionar, verificar y comprender profundamente, ya sea que la información provenga de un colega, de un paper o de un algoritmo.

¿Has usado herramientas de IA con «Cadena de Pensamiento» en tu investigación? ¿Cómo aseguras la fiabilidad de sus resultados? ¡Comparte tus estrategias y experiencias en los comentarios!

Referencias:

Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., Somani, A., Hase, P., Wagner, M., Roger, F., Mikulik, V., Bowman, S., Leike, J., Kaplan, J., & Perez, E. (2023). Reasoning models don’t always say what they think. Anthropic. 

Anthropic (2025). Reasoning models don’t always say what they think. https://www.anthropic.com/research/reasoning-models-dont-say-think