Um dos mais prestigiados periódicos científicos, o New England Journal of Medicine (NEJM) instituiu novas regras para publicação de artigos. “Editores científicos e estatísticos estão cada vez mais preocupados com o uso excessivo e a interpretação errônea de testes de significância e valores de P na literatura médica”, apontou o NEJM, em editorial que discutiu regras para publicação, agora reforçando critérios para a adoção de limiares estatísticos. Quem comenta é Alvaro Atallah (foto), professor na Escola Paulista de Medicina (EPM/Unifesp) e diretor do Centro Cochrane do Brasil.
O problema é antigo, mas passou a assumir contornos mais concretos em novembro de 2018, com a publicação de dois artigos de Manson et al reportando os resultados do ensaio VITAL, que avaliou vitamina D e Ômega-3 (n-3) na prevenção de doenças cardiovasculares ou câncer. “Para a análise de n-3, Manson et al. relataram dois desfechos primários pré-especificados e 22 desfechos secundários – o que não é incomum em estudos randomizados ou observacionais grandes e caros”, descreve o editorial do NEJM.
Os resultados mostraram que ácidos graxos n-3 não tiveram impacto na prevenção de câncer ou de doenças cardiovasculares. “Se relatados como achados independentes, os valores de P para dois dos resultados teriam sido inferiores a 0,05; contudo, o artigo relatou apenas as razões de risco e os intervalos de confiança”, prossegue o editorial, assinado por David Harrington e colegas.
“Quando os valores de P são reportados para múltiplos resultados sem ajuste, a probabilidade de declarar uma diferença de tratamento (quando nenhuma diferença existe) pode ser muito maior que 5%. Quando 10 testes são realizados, a probabilidade de que pelo menos um dos 10 terá um valor de P menor que 0,05 pode ser de cerca de 40%”, apontam os autores. A análise tem implicações evidentes sobre o atual modelo de produção científica e provoca reflexões importantes.
“Na realidade, a interpretação ideal é que as pesquisas sejam respondidas em formato de intervalo de confiança, em vez de usar o valor de p”, explica Alvaro Atallah. “O p é mais maniqueísta, sim ou não, enquanto o intervalo de confiança dá a direção do efeito. Então, esse é o primeiro problema dos artigos que não usam intervalo de confiança”, avalia. “Outro problema é o fenômeno dos múltiplos testes. Se você vai avaliar se uma droga funciona, o p tem que ser inferior a 0,05, o que significa que existe menos de 5% de chance de concluir que um dado é diferente, quando pode ser igual. Então, cada vez que você aplica um teste, você tem 5% de chance de concluir que é diferente, mas na realidade é igual. Se você aplicar 20, 30 vezes, vai dar quase 100% de chance de um deles aparecer com P significante, menor que 0,05, por mero acaso. No artigo de Manson et al são pesquisados 22 desfechos secundários. Cada vez que se aplicou o teste, o estudo teve 5% de chance de concluir que havia diferença significante, quando isso pode ter acontecido por acaso. Se você aplica o teste uma vez a diferença é de 5%, mas diante de múltiplas aplicações você acaba tendo quase 100% de chance de aparecer um resultado estatisticamente significante que é um falso significante. Essa é uma técnica estatística que tem que ser observada sempre, por qualquer pesquisador. No caso desse artigo citado pelo NEJM falharam os autores, os estatísticos do artigo, e o próprio editor que publicou”, criticou Atallah
Referências:
N Engl J Med 2019; 381:285-286
DOI: 10.1056/NEJMe1906559
Manson JE, Cook NR, Lee I-M, et al. Vitamin D supplements and prevention of cancer and cardiovascular disease. N Engl J Med 2019;380:33-44.
Manson JE, Cook NR, Lee I-M, et al. Marine n−3 fatty acids and prevention of cardiovascular disease and cancer. N Engl J Med 2019;380:23-32
