Comparando pacientes que receberam tratamentos atuais com pacientes aparentemente semelhantes que receberam outros tratamentos no passado para a mesma doença
Pesquisadores, por vezes, comparam pacientes que receberam tratamentos atuais com pacientes aparentemente semelhantes, que receberam outros tratamentos no passado para a mesma doença. Essas comparações podem fornecer evidência confiável, se os efeitos do tratamento forem significativos, por exemplo, quando um novo tratamento leva alguns pacientes a sobreviverem de uma doença que havia sido universalmente fatal. Contudo, quando as diferenças entre os tratamentos não são significativas, mas ainda assim vale a pena conhecê-las, essas comparações que usam “controles históricos” são potencialmente
problemáticas. Embora os pesquisadores usem ajustes estatísticos e análises para tentar garantir que semelhante será comparado com semelhante, essas análises não podem levar em consideração os recursos relevantes de pacientes nos grupos de comparação que não foram registrados. Como consequência, jamais podemos estar completamente certos de que semelhante está sendo comparado com semelhante.
Os problemas podem ser ilustrados pela comparação dos resultados do mesmo tratamento administrado a pacientes semelhantes, mas em ocasiões diferentes. Vejamos uma análise de 19 exemplos em pacientes com câncer de pulmão avançado, comparando as taxas de mortalidade anuais observadas em pacientes semelhantes em diferentes ocasiões e com exatamente os mesmos tratamentos. Embora estivessem previstas poucas diferenças nas taxas de mortalidade, de fato, as diferenças foram consideráveis: variavam de 24% melhor para 46% pior. Claramente, essas diferenças não eram decorrentes da alteração dos tratamentos, porque eles eram os mesmos, ou do fato de os pacientes serem diferentes em termos detectáveis, porque não
eram diferentes. As taxas de mortalidade divergentes refletiam supostamente as diferenças não detectadas entre os pacientes ou outras alterações não registradas com o passar do tempo (melhor assistência ou controle da infecção, por exemplo), o que não podia ser levado em consideração nas comparações.