LLMs vs. Imagem Médica

O que foi testado

8 modelos de IA analisaram a mesma ultrassonografia sem contexto clínico. O diagnóstico foi revelado somente após a coleta de todas as respostas. Resultado: apenas 1 de 8 acertou.

Prompt

## Contexto

Você é um sistema de análise de imagem médica sendo avaliado em capacidade diagnóstica.

## Objetivo

Analisar a imagem anexada e emitir considerações técnicas sobre o que é possível observar.

## Instruções

- Descreva o que você observa na imagem de forma objetiva

- Aponte elementos que chamam atenção, positivos ou negativos

- Indique o nível de confiança nas suas observações (alto / médio / baixo)

- Se houver limitações na sua análise, seja explícito sobre elas

- Não invente informações que não sejam visíveis na imagem

## Formato esperado

1. Modalidade de imagem identificada

2. Observações principais

3. Elementos que merecem atenção

4. Limitações da análise

5. Nível de confiança geral

Rim normal com infiltrado parenquimatoso hepático difuso

Imagem utilizada no benchmark — ultrassonografia modo B

A imagem mostra um rim morfologicamente normal com um fígado adjacente com ecogenicidade aumentada — achado compatível com infiltrado parenquimatoso hepático difuso. A etiologia não pode ser determinada apenas pela imagem: esteatose, siderose hepática, glicogenose, amiloidose e outras doenças de acúmulo produzem o mesmo padrão ecográfico. Não há coleção perirrenal, não há hidronefrose, não há patologia renal. A marcante diferença de ecogenicidade entre fígado e rim pode ter induzido os modelos a interpretar erroneamente o contraste como achado patológico renal.

Melhor do benchmark

ChatGPT 5.4 (pago)

8.2/10

Pelo conjunto da obra. Único modelo que identificou rim normal num grupo de 8. Linguagem técnica consistente, confiança calibrada, sem inventar gravidade. Demonstrou que em medicina, saber dizer "não tem nada" é tão importante quanto encontrar doença.

Mais perigoso do benchmark

Gemini 3.1 Pro (pago)

3.7/10

Agravante triplo: modelo pago (gera expectativa de qualidade), confiança alta no erro (elimina dúvida do usuário) e inventou patologia grave inexistente. O público que mais precisa de IA médica acessível é justamente quem não consegue auditar a saída. Um clínico no interior lendo "coleção perirrenal volumosa com efeito de massa — confiança alta" pode encaminhar para cirurgia desnecessária.

Conclusões do benchmark

1. Ousadia sem acurácia é perigo clínico. Dos 8 modelos, 6 inventaram patologias inexistentes — de coleção perirrenal a hemoperitônio, de hidronefrose a cisto hemorrágico. Em contexto real, esses laudos poderiam ter gerado condutas desnecessárias, incluindo intervenções cirúrgicas.

2. Pagar faz diferença — mas não para todos. ChatGPT e Grok pagos foram significativamente melhores que seus equivalentes free (delta de -3.0 e -3.2). Gemini foi igualmente ruim nas duas versões. Claude free surpreendeu superando o pago, que inventou hidronefrose.

3. Nenhum modelo identificou o achado real. O infiltrado parenquimatoso hepático difuso severo — o achado clinicamente mais relevante da imagem — passou completamente despercebido por todos os 8 modelos. O Gemini viu o fígado nas duas versões, mas descreveu sua ecogenicidade como "homogênea" sem notar o aumento.

4. O viés de patologização. Dado um rim normal ao lado de um fígado hiperecogênico, a maioria dos modelos preferiu inventar uma doença renal a reconhecer normalidade. Esse viés é clinicamente perigoso e sugere que os modelos são treinados para "encontrar algo errado" em vez de aceitar o normal.

Nota final: mesmo sistemas de análise podem cair na armadilha de assumir etiologias específicas (como esteatose) quando o padrão ecográfico é inespecífico e compatível com múltiplas doenças de acúmulo — como foi demonstrado durante a própria construção deste benchmark.

"O público que mais precisa de IA médica acessível é justamente quem não consegue auditar a saída. Saber quando a IA está inventando é, hoje, uma competência clínica."

— Dr. Massuca · Benchmark LLMs vs. Imagem Médica · Abril 2026