Estudio comprueba que ChatGPT no es una plataforma 100% confiable cuando responde preguntas de ingeniería de software
ChatGPT, una poderosa inteligencia artificial (IA) desarrollada por OpenAI, ha impresionado a muchos con su capacidad para responder preguntas de cultura general y asuntos variados. Sin embargo, un estudio reciente ha arrojado luz sobre las limitaciones de esta tecnología, especialmente en contextos especializados como la ingeniería de software.
Aunque su redacción es convincente, se ha demostrado que sus respuestas son a menudo imprecisas, incorrectas e incluso falsas en un porcentaje significativo de casos.
A pesar de su apariencia de comprensión emocional y su habilidad para comunicarse de manera coherente, ChatGPT exhibe claras fallas cuando se trata de proporcionar respuestas certeras en áreas específicas. El estudio ha generado preocupación en torno a la confiabilidad de estas IA generativas, especialmente en situaciones donde se les confían tareas y responsabilidades importantes.
En el campo de la ingeniería de software, donde la precisión y el conocimiento especializado son cruciales, la confianza en ChatGPT ha disminuido. Plataformas como Stack Overflow solían ser la principal fuente de soluciones para los problemas de programación, pero la aparición de ChatGPT prometía cambiar esta dinámica. Sin embargo, se ha demostrado que las respuestas de la IA no son siempre correctas ni confiables.
Investigadores de la Universidad de Purdue llevaron a cabo un estudio detallado alimentando a ChatGPT con 517 preguntas que ya habían sido resueltas correctamente por humanos en Stack Overflow. Los resultados fueron sorprendentes: de las 512 preguntas evaluadas, solo en 248 (un 48%) las respuestas de la IA fueron correctas. En 259 casos (un 52%), las respuestas fueron completamente incorrectas.
El aspecto más inquietante de los resultados es que el 77% de las respuestas incorrectas eran detalladas y extensas. A pesar de la información imprecisa, estas respuestas lograron convencer debido a su longitud y aparente coherencia.
Además, el 65% de las respuestas incorrectas abordaron todos los aspectos de la pregunta, lo que podría llevar a quienes no dominan el tema a confiar en la información proporcionada.
El estudio subraya la importancia de la precaución al depender de IA como ChatGPT para tareas especializadas. Si bien estas tecnologías tienen el potencial de ser útiles en muchos contextos, es esencial reconocer sus limitaciones y no confiar ciegamente en sus respuestas. La investigación también resalta la necesidad de desarrollar y perfeccionar IA especializadas que puedan abordar con precisión áreas específicas de conocimiento, evitando así errores costosos y malentendidos.