Como pontuar suas previsões analíticas com precisão
Ao analisar a qualidade de um modelo preditivo, você vai querer medir a sua precisão. A uma previsão mais precisa do modelo faz, o mais útil é para o negócio, que é uma indicação da sua qualidade. Isso tudo é bom - exceto quando o evento previsto é raro. Em tal caso, a elevada precisão do modelo preditivo pode ser sentido.
Por exemplo, se a probabilidade de um evento raro ocorrer é de 5 por cento, um modelo que apenas responde "não" todo o tempo quando questionado se o evento raro ocorreu seria direito 95 por cento do tempo. Mas como útil seria tal modelo ser?
Assim, se sua empresa tem de lidar rotineiramente com eventos raros (se tal coisa é possível), não confiar na precisão sozinho como uma medida de confiabilidade do seu modelo.
Em tal caso, é possível avaliar a eficácia e a qualidade de um modelo preditivo à luz da qual a probabilidade do evento raro deve ter lugar. Uma métrica útil a seguir consiste em especificar quais tipos de erros que você pode aceitar a partir do modelo e que você não pode.
Aqui está uma lista rápida de outras maneiras de avaliar o seu modelo:
Verifique se a saída do modelo atende seus critérios de avaliação.
Conceber uma estratégia de teste para que você possa testar o seu modelo repetidamente e de forma consistente.
Medir o quão bem o modelo satisfaz os objetivos de negócio para o qual foi construído.
Avaliar os riscos de implantação do modelo vivo.
Ajudar a acabar com overfitting. Ao construir um modelo preditivo, tenha em mente que o seu conjunto de dados é apenas uma amostra de toda a população. Haverá sempre fatores desconhecidos que seus dados não podem dar conta, não importa o quê.
Aproxime-se da análise do seu modelo preditivo com cuidado, começando com esta lista de verificação rápida:
Prepare seus dados com a máxima diligência antes de usá-lo para treinar o seu modelo.
Considere cuidadosamente valores atípicos antes incluindo ou excluindo-os.
Permanecer vigilantes em teste e avaliação repetida.
Verificação cruzada de dados de amostras e dados de teste para abster-se de overfitting.
Consultar os seus especialistas de conhecimento de domínio, muitas vezes e de forma adequada.