O Significado do "Valor de p" de um teste

O resultado final de um teste de significância estatística é um valor de p, que representa a probabilidade de que as flutuações aleatórias por si só poderia ter gerado resultados que diferiram da hipótese nula (H₀), Na direcção da hipótese alternativa (H_Alt), Pelo menos tanto quanto o que você observou em seus dados.

Se esta probabilidade é muito pequena, então H₀ já não pode explicar os seus resultados, e você é justificado em rejeitá-la e aceitar H_Alt, que diz que algum efeito real é presente. Você pode dizer que o efeito visto em seus dados é estatisticamente significativa.

Como pequena é muito pequeno para um valor p? Esta determinação é arbitrary- isso depende de quanto de um risco que você está disposto a tomar de ser enganado por flutuações aleatórias (isto é, de fazer um erro Tipo I). Ao longo dos anos, o valor de 0,05 tornou-se aceito como um critério razoável para declarar importância.

Se você adotar o critério de que p deve ser menor ou igual a 0,05 para declarar significado, então você vai manter a chance de fazer um erro de tipo I a não mais de 5 por cento.