PULLMAN, Washington – Un estudio liderado por el profesor asociado Mesut Cicek de la Universidad Estatal de Washington ha demostrado que ChatGPT presenta inexactitudes y inconsistencias al evaluar si hipótesis científicas son verdaderas o falsas. El equipo de investigación, compuesto por Cicek y sus colaboradores, probó al modelo alimentándolo con 719 hipótesis extraídas de artículos científicos publicados en revistas de negocios desde 2021. Para cada afirmación, el modelo respondió 010 veces, obteniendo un 76,5% de precisión en 2024 y un 80% en 2025. Sin embargo, al comparar estos resultados con el azar (50% de probabilidades de acierto aleatorio), el modelo solo superó al azar en un 60%, lo que los investigadores calificaron como una nota baja D, lejos de la confiabilidad requerida para tareas críticas.
Los hallazgos destacaron que ChatGPT tiene mayor dificultad para identificar hipótesis falsas, logrando solo el 16,4% de aciertos en esas situaciones. Además, la inconsistencia en las respuestas repetidas fue notable: en 10 consultas idénticas, el modelo estimó correctamente solo el 73% de las afirmaciones. ‘No hablamos solo de precisión, hablamos de inconsistencia, porque si le preguntas la misma pregunta repetidamente, obtienes respuestas diferentes’, explicó Cicek. ‘Usamos 10 consultas con la misma pregunta exacta. Todo era idéntico. Primero respondía verdadero, luego falso. Verdadero, falso, falso, verdadero. Hubo varios casos donde hubo cinco verdaderos y cinco falsos’, añadió.
Los resultados, publicados en la Revista de Negocios de Rutgers, reafirman la necesidad de escepticismo al usar la IA en tareas que requieren razonamiento complejo. Los investigadores subrayaron que la capacidad de la IA para generar lenguaje fluido no equivale a su habilidad para comprender o razonar. ‘Las herramientas actuales de IA no comprenden el mundo como lo hacemos – no tienen un cerebro’, dijo Cicek. ‘Solo memorizan y pueden dar algunas pistas, pero no comprenden lo que están hablando’. El estudio también destacó que la precisión general entre las versiones de ChatGPT (3.5 en 2024 y 5 mini en 2025) fue similar, lo que sugiere que la mejora no fue significativa. Los investigadores concluyeron que los gestores de negocios deben verificar los resultados de la IA, tratarlos con escepticismo y proporcionar capacitación sobre sus limitaciones. Cicek, quien ha realizado pruebas similares con otras herramientas de IA, reiteró: ‘Siempre debes ser escepticista. No estoy en contra de la IA. La uso. Pero debes ser muy cuidadoso’.
Compartir en Twitter: Estudio de la Universidad Estatal de Washington revela inexactitudes y inconsistencias en las
