Saltar al contenido
Tecnología

¿De dónde saca ChatGPT sus respuestas? Un estudio revela qué fuentes utiliza y por qué no siempre son fiables

Una investigación de Sourcelift analizó las respuestas de diferentes asistentes de inteligencia artificial y descubrió que no siempre citan las fuentes originales. También encontró errores en datos concretos y cambios importantes en las recomendaciones realizadas con apenas unas semanas de diferencia.
Por

Tiempo de lectura 3 minutos

Comentarios (0)

Millones de personas utilizan ChatGPT y otros asistentes de inteligencia artificial para resolver dudas, investigar temas y recibir recomendaciones. Sin embargo, una pregunta sigue generando incertidumbre: ¿de dónde procede realmente la información que ofrecen?

La respuesta combina dos mecanismos. Por un lado, los modelos utilizan conocimientos adquiridos durante su entrenamiento. Por otro, cuando disponen de herramientas de búsqueda, pueden consultar información disponible en internet. El problema es que las páginas utilizadas para elaborar una respuesta no siempre son las fuentes originales ni necesariamente las más fiables.

Una investigación de Sourcelift, una agencia especializada en posicionamiento en inteligencia artificial, analizó cómo diferentes asistentes seleccionan sus fuentes y qué tan consistentes resultan sus respuestas.

Los resultados muestran que estas herramientas pueden explicar correctamente conceptos generales, pero también cometer errores y utilizar referencias de calidad desigual.

Un estudio encontró problemas con las fuentes citadas

En una prueba realizada el 29 de septiembre, Sourcelift formuló ocho preguntas en inglés y español a cinco sistemas: ChatGPT, Claude, Gemini, Perplexity y las vistas generadas con IA de Google.

En total, examinó 80 respuestas y las comparó con documentos originales.

Aunque ninguno de los asistentes definió incorrectamente los conceptos consultados, aparecieron problemas al verificar cifras y referencias. Por ejemplo, algunos sistemas atribuyeron a Google cantidades específicas de búsquedas internas que no figuraban en su documentación oficial.

Además, ChatGPT, Claude, Gemini y Perplexity solo enlazaron documentos originales en 21 de las 64 respuestas analizadas.

En determinados casos, los asistentes utilizaron publicaciones de redes sociales en lugar de investigaciones científicas originales.

¿De dónde saca ChatGPT sus respuestas? Un estudio revela qué fuentes utiliza y por qué no siempre son fiables
© Matheus Bertelli – Pexels

¿Cómo decide la inteligencia artificial qué páginas citar?

Muchos sistemas utilizan técnicas conocidas como generación aumentada por recuperación, o RAG.

Este procedimiento permite buscar documentos relevantes y utilizar su contenido para elaborar una respuesta.

Sin embargo, encontrar una página que responde directamente a una pregunta no significa necesariamente que sea la fuente más autorizada. Otra prueba de Sourcelift analizó 40 consultas sobre regalos realizadas a ChatGPT desde Estados Unidos.

De las 36 respuestas que incluían fuentes, 26 no citaron ninguna página de una marca fabricante.

En cambio, aparecieron principalmente sitios independientes especializados en reseñas y recomendaciones. Los investigadores también observaron que una parte importante de las páginas citadas correspondía a dominios relativamente recientes.

Esto sugiere que la antigüedad de una web no garantiza su aparición en las respuestas de los asistentes.

¿Por qué ChatGPT puede responder cosas diferentes?

Otra característica importante es que las respuestas de inteligencia artificial no son necesariamente idénticas cada vez que se formula una pregunta.

Sourcelift comparó recomendaciones de abogados realizadas por ChatGPT, Gemini y Perplexity en dos fechas separadas por 18 días.

De 54 recomendaciones iniciales, solamente 21 volvieron a aparecer en la segunda evaluación. Estas diferencias pueden relacionarse con cambios en la información disponible, las fuentes recuperadas y el contexto de cada consulta.

Sin embargo, los autores reconocen que sus pruebas representan muestras limitadas y no permiten generalizar los resultados a todas las consultas.

https://www.youtube.com/watch?v=vLUIPtfCn0c

Cómo comprobar si una respuesta de ChatGPT es correcta

Los especialistas recomiendan revisar las fuentes citadas, especialmente cuando aparecen estadísticas, estudios científicos o información relevante para tomar decisiones.

También aconsejan buscar los documentos originales en lugar de confiar únicamente en artículos que resumen investigaciones anteriores. Otro aspecto importante es desconfiar de cifras extremadamente precisas cuando no existe una referencia verificable que las respalde.

La conclusión es que los asistentes de inteligencia artificial pueden ser herramientas útiles para comprender información, pero sus respuestas no deberían reemplazar la verificación de las fuentes originales.

En una época en la que obtener respuestas resulta cada vez más sencillo, comprobar de dónde salen podría convertirse en una de las habilidades digitales más importantes.

 

 

Fuente: Noticias de la Ciencia y la Tecnología.

Compartir esta historia

Artículos relacionados