O que é “diferença significantiva” entre tratamentos?

Esta é uma pergunta complicada, porque “diferença significativa” pode ter vários significados. Em primeiro lugar, pode ser uma diferença que é de fato importante para o paciente. Contudo, quando os autores das pesquisas declaram que existe uma “diferença significativa”, eles estão muitas vezes se referindo à “significância estatística”. E as “diferenças estatisticamente significativas” não são necessariamente “significativas” no sentido comum da palavra. Uma diferença entre tratamentos pouco provável de ocorrer por causa do efeito do acaso – uma “diferença estatisticamente significativa” – pode ter pouca ou nenhuma
importância.

Pegue o exemplo de uma revisão sistemática de estudos randomizados comparando as experiências de dezenas de milhares de
homens saudáveis que tomaram uma aspirina por dia às experiências de dezenas de milhares de outros homens saudáveis que não tomaram aspirina. Essa revisão descobriu uma taxa mais baixa de ataques cardíacos entre os homens que tomaram aspirina e a diferença era “estatisticamente significativa”, ou seja, era improvável ser explicada pelo efeito do acaso. No entanto, não significa que tenha necessariamente uma importância prática. Se a chance de um homem saudável ter um ataque cardíaco já é bem reduzida, tomar um medicamento para torná-la ainda mais reduzida pode não se justificar, particularmente porque a aspirina tem efeitos colaterais, como hemorragia, ocasionalmente mortais. Com base na evidência de revisão sistemática, podemos estimar que, se 1.000 homens tomaram uma aspirina por dia durante 10 anos, cinco deles teriam evitado um ataque cardíaco durante esse período, mas três deles teriam uma hemorragia grave.

  • Robert42

    The wording here is not inaccurate but it is unfortunate. Saying that a statistically significant result is unlikely to have occurred by chance implies causality of the treatment being tested. That isn’t true. A statistically significant difference is simply one where the measurement system (including sample size, measurement scale, etc.) was capable of detecting a difference (with a defined level of reliability). Just because a difference is detectable, doesn’t make it important, or unlikely.

  • Anonymous

    Hi Robert

    Thanks for your comment, and important clarification. I think here the authors made a trade-off between precision and getting the message across.

    There is a similar comment on the previous page (hit Previous above to see it), to which Paul Glasziou, one of the co-authors, gave a reply which is much better than any I could hope to muster.

    Please check it out and do let us know if you feel it merits further discussion.

    cheers

    Douglas