Estudo: ChatGPT superou médicos em diagnósticos

O Dr. Adam Rodman, especialista em medicina interna no Beth Israel Deaconess Medical Center, esperava que o ChatGPT ajudasse os médicos a diagnosticar doenças, mas os resultados de um estudo que ele ajudou a projetar surpreenderam-no, como contado em uma matéria do jornal The New York Times.

O Dr. Rodman acreditava que os chatbots criados para usar inteligência artificial ajudariam os médicos a diagnosticar doenças, mas a diferença foi mínima. E, para a surpresa dos pesquisadores, o ChatGPT sozinho superou os médicos.

Embora o ChatGPT tenha superado os profissionais ao diagnosticar condições médicas, os médicos que usaram o chatbot com recursos tradicionais tiveram um desempenho apenas ligeiramente melhor do que aqueles sem o chatbot. Em média, o chatbot obteve 90% de precisão, enquanto os médicos alcançaram 76% (com o chatbot) e 74% (sem ele).

Leia também:

Mas, atenção! Isso não significa, de maneira alguma, que devemos substituir um diagnóstico médico pelo ChatGPT ou qualquer chatbot de IA. Os modelos de linguagem continuam sujeitos a falhas, e um profissional da saúde deve sempre ser procurado quando necessário.

Médicos ignoraram o ChatGPT

• O estudo revelou que muitos médicos se apegaram a seus próprios diagnósticos, ignorando as sugestões do chatbot, mesmo quando estas eram mais precisas.
• Além disso, os médicos não exploraram plenamente o potencial da ferramenta, tratando-a apenas como um mecanismo de busca, em vez de utilizá-la para uma análise mais profunda dos casos.
• O experimento, publicado no JAMA Network Open, envolveu 50 médicos testados com seis casos clínicos complexos.
• Embora o ChatGPT tenha sido mais eficaz ao diagnosticar e explicar os casos, muitos médicos não souberam aproveitar suas capacidades completas, limitando o impacto da inteligência artificial no diagnóstico médico.

Os resultados levantam questões sobre como os médicos utilizam tecnologias de IA e sobre a confiança excessiva que podem ter em seus próprios julgamentos. Apesar disso, especialistas acreditam que a IA tem o potencial de atuar como uma “segunda opinião” valiosa, se usada corretamente.