Gemini supera ChatGPT e Claude em respostas sobre HPV laríngeo e papilomatose respiratória recorrente
Pergunta clínica
Em perguntas comuns de pacientes sobre infecção laríngea por HPV e papilomatose respiratória recorrente, qual chatbot de inteligência artificial oferece respostas com maior acurácia, abrangência e semelhança com a resposta médica, na avaliação de laringologistas?
Fôlego em 30 segundos
O Gemini obteve a maior média geral (4,7; DP 0,5) e as maiores notas em cada aspecto avaliado, enquanto o Claude teve a menor (4; DP 0,7). A diferença entre plataformas foi significativa, mas só na comparação individual do Gemini com o ChatGPT e o Claude, em um conjunto de apenas oito perguntas.
- Muda algo agora?
- NãoGrau do que o próprio estudo sustenta, não uma recomendação do Fôlego.
- População
- Infecção laríngea por HPV e papilomatose respiratória recorrente
- Desenho
- Avaliação de oito respostas de três chatbots por dois laringologistas, com nota cega em escala Likert de 5 pontos
- Estágio da evidência
- Artigo revisadoArtigo publicado em revista, após revisão por pares.
- Conflitos de interesse declarados
- Thomas L. Carroll declara vínculo com Sofregen Medical, N-Zyme Biomedical e GSK, incluindo participação em conselho e consultoria; os demais autores declaram não ter conflitos.
- Principal limitação
- O número de perguntas é pequeno e as respostas foram julgadas por apenas dois avaliadores, o que restringe a precisão das médias e a generalização para outras perguntas e outros chatbots.
O que fizeram
Os autores formularam oito perguntas para simular dúvidas reais de pacientes sobre infecção laríngea por HPV e papilomatose respiratória recorrente e as submeteram a três modelos de chatbot: Claude, ChatGPT e Gemini. Dois laringologistas com formação em laringologia avaliaram, de forma cega, as oito respostas de cada modelo em escala Likert de 5 pontos quanto a acurácia, abrangência e semelhança com a resposta que eles próprios dariam ao paciente.
O que encontraram
| Desfecho | Resultado | Observação |
|---|---|---|
| Acurácia | Foi o aspecto com a maior nota média entre todas as plataformas (4,4; DP 0,6). | A diferença entre os aspectos avaliados não foi robusta. |
| Comparação entre plataformas | A análise de variância de uma via mostrou diferença global significativa entre os três chatbots (P < 0,0001). | No teste post hoc de Tukey, a diferença só foi significativa na comparação individual do Gemini com o ChatGPT e com o Claude (P < 0,0001). |
Entenda a estatística
- Escala Likert de 5 pontos
- As notas de acurácia, abrangência e semelhança variam de 1 a 5, e as médias resumem o julgamento dos avaliadores. Uma média de 4,7 indica que as respostas ficaram entre as notas mais altas da escala, mas não mede desfechos clínicos.
- ANOVA e teste de Tukey
- A ANOVA de uma via testa se as médias dos três chatbots diferem entre si; o valor de P < 0,0001 indica que pelo menos uma difere. O teste de Tukey mostra quais pares diferem: só o Gemini se separou dos outros dois, com P < 0,0001.
Quanto confiar
- A favor: A avaliação foi cega, com os laringologistas sem saber qual modelo gerou cada resposta.
- A favor: As perguntas foram formuladas para reproduzir dúvidas reais de pacientes sobre o tema.
- Poucos pacientes: Apenas oito perguntas foram testadas em cada um dos três chatbots, o que limita a precisão e a generalização das médias de pontuação.
- Desfecho substituto: O desfecho principal é a nota de médicos avaliadores sobre acurácia, abrangência e semelhança com a resposta que dariam, não um desfecho clínico em pacientes.
- Não localizado no material consultado: Critérios usados pelos avaliadores para atribuir as notas
- Não localizado no material consultado: Perfil e experiência dos avaliadores além da formação em laringologia
Na prática
O estudo importa para quem atende crianças e adultos com papilomatose respiratória recorrente e recebe pacientes que chegam com informação buscada em chatbots. Ele mostra que a qualidade das respostas varia entre plataformas e que, mesmo a melhor avaliada, foi julgada por médicos, não por pacientes, e em um conjunto restrito de perguntas. O estudo não testou se a informação melhora o entendimento do paciente, a adesão ao tratamento ou o desfecho clínico, nem comparou o uso do chatbot com a orientação dada na consulta. No contexto brasileiro, a conclusão depende de as plataformas avaliadas estarem disponíveis e de as perguntas serem feitas em português, o que o material não aborda.
Contexto
Chatbots baseados em grandes modelos de linguagem são usados com frequência por pacientes para se informar sobre questões médicas, mas não se sabia a acurácia das respostas sobre infecção laríngea por HPV e papilomatose respiratória recorrente.
Referência
Schettini IH, Lim LY, Dwyer CD et al.. Artificial Intelligence Chatbot Accuracy for Patient Education in HPV Infection. J Voice 2026.
DOI: 10.1016/j.jvoice.2026.10.019 · PubMed: 42971849
Acesso: o artigo completo é pago na editora. Autores costumam enviar uma cópia a quem pede pelo e-mail de correspondência indicado no artigo.
Matéria escrita com inteligência artificial e publicada automaticamente; o editor responsável, Andrey Barbosa Pimenta, acompanha o que vai ao ar e corrige quando necessário.