Modelos de linguagem na via aérea difícil pediátrica: desempenho varia e erros se concentram em doses e no rocurônio

Em 50 cenários simulados, o melhor modelo teve 6,5% de erros críticos e o pior, 23,0%; contraindicações falsas apareceram em todos, principalmente ligadas ao rocurônio.

Um estudo de simulação comparou cinco modelos de linguagem de grande porte (LLMs) em 50 casos de manejo de via aérea difícil pediátrica, usando um prompt padronizado baseado no Difficult Airway Guidelines de 2022 da American Society of Anesthesiologists. Dois anestesiologistas avaliaram as respostas em escala modificada de 0 a 5, com concordância quase perfeita entre avaliadores (κ ponderado quadrático de 0,982). Houve diferença significativa de desempenho entre os modelos (Friedman χ²(4) = 100,12; p < 0,001). O GPT-5.2 Thinking obteve a maior média e a maior proporção de respostas aceitáveis, enquanto o Claude Opus 4.5 teve a maior taxa combinada de erros críticos (23,0% contra 6,5% dos dois modelos GPT).

Contexto

Os LLMs vêm sendo investigados para aplicações em decisões perioperatórias e como ferramentas informais de aprendizado "just-in-time" para residentes. Este estudo avaliou cinco modelos no manejo da via aérea difícil pediátrica com uma abordagem de pontuação sensível ao mecanismo, que separa alucinações verdadeiras de contraindicações falsas, e examina a adequação desses modelos para aprendizado supervisionado.

Como foi feito

Estudo de simulação com avaliação comparativa cega. Cinquenta casos de manejo de via aérea difícil pediátrica foram apresentados a cinco LLMs por meio de um prompt padronizado baseado no Difficult Airway Guidelines de 2022 da American Society of Anesthesiologists. Dois anestesiologistas avaliaram as respostas em escala modificada de 0 a 5. A avaliação foi de passagem única (single-pass). O resumo não informa o período do estudo nem os modelos avaliados além dos citados nos resultados.

O que encontraram

A concordância entre avaliadores foi considerada de altíssimo nível, com κ ponderado quadrático de 0,982. Observou-se variação estatisticamente significativa no desempenho global entre os modelos (Friedman χ²(4) = 100,12; p < 0,001). Nesta avaliação de passagem única, o GPT-5.2 Thinking apresentou a maior pontuação média e a maior proporção de respostas aceitáveis, enquanto o Claude Opus 4.5 teve a maior taxa combinada de erros críticos (23,0%, contra 6,5% dos dois modelos GPT).

As alucinações verdadeiras foram mais frequentes no Claude Opus 4.5 (11,8%; nos demais modelos, 0,5% a 2,2%). Já as contraindicações falsas ocorreram em todos os modelos, com frequência de 5,0% a 13,0%, e se concentraram no rocurônio.

A inadequação dos cenários (pontuação ≤ 2) aumentou com a complexidade: 32% a 98% na intubação difícil, 46% a 94% na ventilação difícil e 52% a 92% no cenário de CICO (cannot intubate, cannot oxygenate).

Limitações

Trata-se de estudo de simulação, com avaliação de passagem única das respostas e apenas dois avaliadores, ainda que com concordância quase perfeita. O resumo não informa o período, os cinco modelos avaliados na íntegra, o número de execuções por cenário nem se houve repetição das respostas. Os resultados refletem o desempenho nos 50 cenários construídos e no prompt padronizado empregado, não o uso em situações clínicas reais.

Para o pediatra

O estudo não envolveu pacientes, e sim cenários simulados de via aérea difícil pediátrica respondidos por modelos de linguagem. Para o pediatra geral, o achado mais concreto é o padrão de erro: as contraindicações falsas se concentraram no rocurônio, e a inadequação das respostas cresceu com a complexidade do cenário, chegando a 52% a 92% no CICO. Isso sugere cautela em usar esses modelos como fonte autônoma de orientação clínica ou educacional, inclusive em dúvidas sobre bloqueio neuromuscular.

Para o especialista

A contribuição do estudo está em separar dois mecanismos de erro — alucinação verdadeira e contraindicação falsa — e mostrar que eles têm distribuição diferente entre modelos: o Claude Opus 4.5 concentrou as alucinações verdadeiras (11,8%), enquanto as contraindicações falsas apareceram em todos os modelos (5,0% a 13,0%), agrupadas no rocurônio. A inadequação crescente com a complexidade (até 98% na intubação difícil e 92% no CICO) e a taxa de erros críticos de 6,5% a 23,0% indicam que, neste conjunto de cenários e com avaliação de passagem única, os LLMs podem servir como apoio suplementar supervisionado, não como fonte autônoma de conduta. O desenho de simulação com dois avaliadores limita a extrapolação para o uso clínico.

Referência

Yediyıldız MB, Durmuş İ. Mechanism-aware benchmarking of large language models as learning aids in pediatric difficult airway training: true hallucinations vs. false contraindications. BMC Med Educ 2026.

DOI: 10.1186/s12909-026-10509-y · PubMed: 42907955

Texto completo gratuito: doi.org, licença CC BY-NC-ND.

Matéria escrita pelo Fôlego a partir do resumo publicado.