Avaliação crítica não é caçar defeitosÉ decidir quanto confiar nos resultados de um artigo

Primeiro, um equívoco comum a desfazer.

Avaliação crítica não é aprovar ou reprovar um artigo. Nenhum estudo é perfeito; contar defeitos condenaria qualquer trabalho — e mataria a discussão.

As perguntas de verdade são estas: quais partes dos resultados merecem confiança e quais pedem reserva? E até onde elas se aplicam aos seus pacientes, à sua prática, à sua pesquisa?

Apontar uma falha é ponto de partida, não conclusão. Mantenha isso em mente e a qualidade da sua avaliação muda.

Há sete lugares para olhar ao calibrar essa distância.

Primeiro, o PICO ou a pergunta de pesquisa: o que o estudo está de fato perguntando? Segundo, o delineamento: ele serve à pergunta? Terceiro, como os participantes foram selecionados: há viés de seleção? As linhas de base estão equilibradas entre os grupos?

Quarto, o desfecho primário: a régua de "eficaz" é adequada? Quinto, o tamanho e a precisão do efeito: quão grande, e com que grau de certeza? Sexto, confusão, viés e dados faltantes: aquilo que distorce resultados foi tratado?

Sétimo e último, a aplicabilidade: isso se transfere para os pacientes, o contexto e as perguntas com que você trabalha? Vamos percorrê-los na ordem em que costumam aparecer no journal club.

PICO. P é Paciente/População — quem foi estudado: idade, sexo, diagnóstico, gravidade, comorbidades. I é Intervenção/Exposição — o tratamento, exame ou cuidado avaliado: um fármaco novo, um protocolo de reabilitação, uma cirurgia.

C é Comparação — contra o que a intervenção é medida: tratamento padrão, placebo ou observação sem intervenção. O é Desfecho (Outcome) — o que mudou como resultado: sobrevida, melhora de sintomas, taxa de complicações, qualidade de vida.

Em resumo: para quem, fazendo o quê, comparado com o quê, medido como. Trabalhe esses quatro pontos até conseguir enunciá-los em uma única frase. Pule essa etapa e todos os julgamentos seguintes ficam embaçados.

Delineamento do estudo. ECR, coorte ou caso-controle? O que importa não é "ECRs são simplesmente superiores", e sim se o delineamento serve à pergunta feita. ECRs são ruins para captar eventos adversos raros, e há perguntas que não podem, eticamente, ser randomizadas.

Seleção dos participantes. Olhe os critérios de inclusão e exclusão e a Tabela 1. Exclusões rígidas demais estreitam a quem os resultados se aplicam. E, se as linhas de base diferem entre os grupos, não dá para saber se as diferenças posteriores vêm da intervenção ou do ponto de partida.

O desfecho primário. Duas checagens: o desfecho primário pré-especificado mostrou diferença significativa, ou o artigo estampa uma "vitória" baseada só em desfechos secundários? E esse desfecho é um indicador que importa de verdade para pacientes e profissionais da área?

Tamanho de efeito e precisão. Aqui vai um convite a ir além do valor de p: olhe a medida de efeito — diferença de risco, razão de risco, NNT (número necessário para tratar) — e a largura do intervalo de confiança.

"Estatisticamente significativo" e "clinicamente relevante" são coisas diferentes. Com uma amostra grande o bastante, até uma diferença minúscula produz um p pequeno. Na apresentação, discuta não só se existe diferença, mas como ela deve ser lida.

Confusão, viés, dados faltantes. Em estudos observacionais: como os fatores de confusão foram ajustados? Que proporção abandonou o estudo, e como esses casos foram tratados? Houve cegamento? Fontes de financiamento e conflitos de interesse também entram aqui.

Aplicabilidade. O último ponto — e o que deve gerar mais conversa. Em que os participantes e o contexto do estudo se parecem com os seus, e em que diferem?

Um journal club que vai além de "há evidência" e chega a "como — ou se — usaríamos isso no nosso serviço" está fazendo exatamente aquilo para que existe.

Até onde a IA ajuda nessas sete checagens?

A IA é boa no trabalho preparatório. Ela extrai o PICO, organiza o delineamento e o desfecho primário e lista as limitações que os autores reconhecem. Até aí, é uma extensão do resumo — e genuinamente útil.

Dali em diante, não é trabalho de IA. Calibrar a distância só pode ser feito por quem viu os números e as figuras com os próprios olhos. O desequilíbrio de base é grande o bastante para derrubar o resultado? Como ler clinicamente este intervalo de confiança? Isso vale para os seus pacientes?

O resumo de IA é a porta de entrada; o original é a evidência. Em nenhum lugar esse princípio pesa tanto quanto na avaliação crítica.

Avaliar criticamente é tomar notas enquanto se alterna entre sete perspectivas. Espalhe essas notas por conversas de chat e folhas avulsas e será difícil achá-las antes da apresentação — e mais difícil ainda meses depois, quando você se perguntar "como avaliei aquele artigo?".

O Paperfy mantém o PDF do artigo, o resumo de IA e as figuras em uma página, e você pode sobrescrever o resumo de IA com a sua própria avaliação à medida que avança.

Correções como "a IA resumiu assim, mas o original define o desfecho primário de outro jeito" viram um registro duradouro da sua leitura do artigo. Os roteiros de rádio são editáveis do mesmo modo — regenere o áudio e revise as suas conclusões de ouvido antes da reunião.

Avaliação crítica não é julgar um artigo — é traduzir seus achados em termos que importam para o seu trabalho.

Use os sete pontos para calibrar a distância, deixe a preparação com a IA e tome as decisões finais a partir dos números do original. Domine esse método e o journal club deixa de ser uma sala de sabatina para virar uma sala de discussão de verdade.

Comece por um só dos sete: enuncie o PICO em uma única frase e sinta a diferença que isso faz.