Brunela Lenzi Fabre (na foto à esquerda) é primeira autora de estudo que avaliou a precisão do ChatGPT-4.0 em gerar listas de diagnóstico diferencial para pacientes oncológicos a partir de relatos de casos. “Nosso estudo demonstra que o GPT-4 não se justifica como ferramenta de apoio ao diagnóstico. A taxa de 20% de erros de diagnóstico e testes não adequados sugeridos para investigação podem aumentar os custos globais de cuidados de saúde de pacientes com câncer”, alerta a pesquisadora, em artigo que tem como autor sênior o oncologista Auro Del Giglio (na foto à direita).
Neste estudo, Fabre e colegas buscaram avaliar a capacidade do GPT-4 em sugerir diagnósticos definitivos e exames apropriados para minimizar procedimentos desnecessários para o diagnóstico de câncer.
Os pesquisadores realizaram uma análise comparativa, extraindo retrospectivamente dados clínicos de 10 casos publicados na New England Journal of Medicine após 2022. As informações foram inseridas no GPT-4 para gerar recomendações de diagnóstico e investigação. O endpoint primário foi a capacidade de identificar corretamente o diagnóstico final. Endpoints secundários incluíram a capacidade de listar o diagnóstico definitivo como o primeiro dos cinco diagnósticos diferenciais mais prováveis e determinar uma investigação adequada.
Os resultados foram publicados no ESMO Real World Data and Digital Oncology e mostram que a Inteligência Artificial (IA) não conseguiu identificar o diagnóstico definitivo em 2 de 10 casos (20% de imprecisão). Entre os oito casos corretamente identificados pela IA, cinco (63%) listaram o diagnóstico definitivo no topo da lista de diagnósticos diferenciais.
Em relação aos testes e exames diagnósticos, os autores descrevem que a IA sugeriu procedimentos desnecessários em dois casos, representando 40% das ocorrências em que não conseguiu identificar corretamente o diagnóstico final. Além disso, a IA não conseguiu sugerir tratamento para sete casos (70%). Desses, a análise revela, ainda, que a IA sugeriu manejo inadequado para dois casos, enquanto os cinco restantes receberam aconselhamento incompleto ou inespecífico, como quimioterapia, sem especificar o melhor regime.
“Nosso estudo demonstrou o potencial do GPT-4 como ferramenta de apoio acadêmico, embora não tenha sido possível identificar corretamente o diagnóstico final em 20% dos casos”, concluem os autores, acrescentando que a IA solicitou exames diagnósticos desnecessários para 40% dos pacientes.
Fabre e colegas alertam que pesquisas futuras devem se concentrar na avaliação do desempenho do GPT-4 através de avaliações prospectivas e com abordagens que possam refinar sua capacidade de melhorar o diagnóstico e precisão terapêutica.
Além de Brunela Lenzi Fabre, da BP - a Beneficência Portuguesa de São Paulo, e do oncologista Auro Del Giglio, da Faculdade de Medicina do ABC, o trabalho tem como coautores os pesquisadores Marcos Magalhães Filho, Pedro Aguiar e William William (Oncoclínicas).
Referência:
https://doi.org/10.1016/j.esmorw.2024.100042
