Como avaliar e atualizar seu modelo Predictive Analytics

Seu objetivo, claro, é a construção de um modelo de análise preditiva que podem realmente resolver os objetivos de negócios foi construído para. Espere gastar algum tempo avaliando a precisão das previsões do seu modelo, de modo a provar o seu valor ao processo de tomada de decisão - e para a linha de fundo.

Avaliar o seu modelo a partir destes dois ângulos distintos:

• O negócio: O analista de negócios deve avaliar o desempenho do modelo e a precisão de suas previsões em termos de quão bem eles abordam os objetivos de negócios. São os insights derivados do modelo, tornando mais fácil para que você possa tomar decisões? Você está gastando mais tempo ou menos tempo em reuniões por causa desses novos conhecimentos?

• Técnico: Os cientistas de dados e profissionais de TI devem avaliar os algoritmos utilizados e as técnicas estatísticas e métodos aplicados. São os algoritmos escolhidos ideal para o propósito do modelo? São as idéias que está sendo gerado rápido o suficiente para produzir vantagens acionáveis?

Avaliando o modelo é essencialmente um processo contínuo de re-examinar os algoritmos utilizados, os dados incluídos, e as características selecionadas para análise - bem como monitorando constantemente a precisão do desempenho do modelo em um sistema ao vivo e um ambiente de negócios real.

Além de examinar atentamente os dados utilizados, a seleção de variáveis ​​com o poder mais preditivo e os algoritmos aplicados, o teste mais crítico é avaliar se o modelo satisfaz as necessidades do negócio e se agrega valor ao negócio.

Criando uma decisão susceptível de recurso é o critério mais importante contra o qual a julgar o sucesso do modelo. Se a sua organização pode agir sobre a saída do modelo e sair na frente, o modelo é um sucesso.

Teste o seu modelo em um ambiente de teste que se assemelha ao ambiente de produção. Definir as métricas para avaliar o sucesso do modelo no início do projecto. Especificando as métricas de início faz com que o modelo mais fácil para validar mais tarde.

implantação bem-sucedida do modelo em produção há tempo para relaxar. Você vai precisar de acompanhar de perto a sua precisão e desempenho ao longo do tempo. Um modelo tende a degradar ao longo do tempo e uma nova infusão de energia é necessário de vez em quando para manter esse modelo em funcionamento. Para ficar bem sucedido, um modelo deve ser revisitados e reavaliados à luz dos novos dados e novas circunstâncias.

Se as condições mudam para que eles não se encaixam formação original do modelo, então você vai ter que voltar a treinar o modelo para atender às novas condições. Tais condições incluem novos exigentes

• Uma mudança total no objetivo de negócio

• A adoção de - ea migração para - tecnologia nova e mais poderosa

• O surgimento de novas tendências no mercado

• A prova de que a concorrência está a aproximar-se

Seu plano estratégico deve incluir ficar alerta para qualquer necessidade emergente para atualizar seu modelo e levá-la ao próximo nível, mas atualizar seu modelo deve ser um processo contínuo de qualquer maneira. Você vai continuar aprimorando entradas e saídas, incorporando novos fluxos de dados, como treinar o modelo para as novas condições e continuamente aperfeiçoar suas saídas. Manter estes objetivos em mente:

• Fique em cima de mudanças nas condições de reciclagem e testar o modelo regularly- melhorá-lo sempre que necessário.

• Monitorar a precisão do seu modelo para capturar qualquer degradação no seu desempenho ao longo do tempo.

• Automatizar a monitorização do seu modelo através do desenvolvimento de aplicativos personalizados que relatar e acompanhar o desempenho do modelo.

  monitoramento automatizado economiza tempo e ajuda a evitar erros no acompanhamento do desempenho do modelo.