IA erra 80% dos diagnósticos iniciais, mostra estudo
A inteligência artificial ainda não está pronta para atender pacientes sozinha: é o que conclui um estudo publicado nesta segunda-feira (13) no JAMA Network Open.
Envolver cartões de débito e crédito em papel alumÃnio: para que serve e quando é recomendado
Como as redes sociais podem afetar os treinos e a performance de jovens atletas
Por que a sardinha é considerada um superalimento para o cérebro e para a saúde mental? Veja como preparar
A pesquisa mostrou que os principais modelos de inteligência artificial ainda não conseguem diagnosticar, com confiabilidade, pacientes nas etapas iniciais do diagnóstico: a taxa de erro, nesse estágio, é acima de 80%.
O estudo americano testou a racionalização de 21 modelos de LLM (Large Language Model) diferentes — incluindo ChatGPT, Deep Seek, Gemini e Claude, os quatro mais conhecidos — em 29 casos clÃnicos usados para treinamento de médicos, com sintomas, resultados de exames e histórico médico.
As IAs foram testadas da mesma forma que seriam testados alunos de medicina: em etapas. Primeiramente uma lista de hipóteses de diagnósticos, depois indicar exames, chegar ao diagnóstico final, e então propor um tratamento.
A taxa de falha no diagnóstico diferencial, a primeira fase — quando se listam hipóteses — foi acima de 80%: alguns modelos chegaram a ter 90 e até 100% de taxa de erro. Já no diagnóstico final, com todos os exames e informações possÃveis, a taxa de falha foi abaixo de 40%, com alguns chegando a errarem em apenas 9% dos casos.
Até mesmo o melhor modelo, o Grok 4, da xAI, empresa do bilionário Elon Musk, teve uma taxa de desempenho baixa: 22% menor que o ideal; o pior, o Gemini 1.5 Flash, teve uma taxa 36% abaixo.
Para os cientistas, o estudo mostra que, embora as empresas tentem vender as IAs médicas como uma solução e alternativa para pacientes em estágios iniciais de tratamento, os modelos ainda têm um ponto cego importante: a fase da consulta em que o médico ainda não tem certeza do diagnóstico e precisa manter várias hipóteses abertas. É justamente nessa fase que erros podem custar mais caro para o paciente.