ChatGPT, o chatbot de inteligência artificial da OpenAI, tem sido amplamente divulgado como uma ferramenta revolucionária capaz de auxiliar trabalhadores a se tornarem mais eficientes, mas um novo estudo revela que suas respostas para perguntas de programação estão incorretas 52% das vezes.
Principais Destaques
- Estudo da Universidade Purdue descobriu que 52% das respostas do ChatGPT a perguntas de programação estão incorretas.
- Mesmo com as respostas imprecisas, 35% dos participantes preferiram as respostas do ChatGPT devido à sua linguagem articulada.
- Os programadores não perceberam a desinformação nas respostas 39% das vezes, apontando para a necessidade de aumentar a conscientização sobre os riscos associados.
A Pesquisa Reveladora
O estudo da Universidade Purdue, apresentado na Conferência de Interação Humano-Computador no Havaí, analisou 517 perguntas de programação do Stack Overflow e as alimentou no ChatGPT. Os resultados foram alarmantes: 52% das respostas continham informações incorretas e 77% eram prolixas.
Confiança Perigosa nas Respostas do ChatGPT
Apesar das imprecisões, os participantes do estudo ainda preferiram as respostas do ChatGPT em 35% dos casos, devido à sua abrangência e estilo de linguagem bem articulado. No entanto, eles também ignoraram a desinformação presente nas respostas 39% das vezes, segundo o estudo. Isso implica a necessidade de combater a desinformação nas respostas do ChatGPT a perguntas de programação e aumentar a conscientização sobre os riscos associados a respostas aparentemente corretas.
Desafios da Inteligência Artificial na Programação

Embora seja apenas um estudo, ele aponta para problemas que os usuários dessas ferramentas podem enfrentar. As grandes empresas de tecnologia estão investindo bilhões em IA, na tentativa de oferecer os chatbots mais confiáveis. No entanto, um dos principais obstáculos é a falta de confiabilidade da IA, especialmente quando as perguntas são realmente únicas.
Conclusão
O estudo da Universidade Purdue destaca os desafios e riscos associados ao uso de chatbots de IA, como o ChatGPT, para perguntas de programação. Embora essas ferramentas sejam apresentadas como revolucionárias, a alta taxa de respostas incorretas e a falta de conscientização dos usuários sobre a desinformação representam obstáculos significativos. À medida que a IA continua a evoluir, é crucial abordar esses problemas para garantir que essas tecnologias sejam verdadeiramente benéficas e confiáveis.