Como lidar com a Outliers causados por erros no sistema
Quando você confiar na tecnologia ou instrumentação para realizar uma tarefa de análise preditiva, uma falha aqui ou ali pode causar estes instrumentos a registar valores extremos ou incomuns. Se os sensores de registar valores observacionais que não cumpram as normas básicas de controle de qualidade, eles podem produzir rupturas reais que são refletidas nos dados.
Alguém que executa a entrada de dados, por exemplo, pode facilmente adicionar um extra de 0 na extremidade de um valor por engano, tendo a entrada de gama e produzindo um outlier.
Se você está olhando para os dados observacionais coletados por um sensor de água instalado no porto de Baltimore - e relata uma profundidade de água de 20 pés acima do nível médio do mar - você tem um outlier. O sensor é obviamente errada a menos que Baltimore está completamente coberta pela água.
Os dados podem acabar tendo de outliers devido a eventos externos ou um erro por uma pessoa ou um instrumento.
Se um verdadeiro evento, como um flash crash é atribuída a um erro no sistema, as suas consequências ainda são reais - mas se você sabe a origem do problema, você pode concluir que uma falha nos dados, não o seu modelo, foi culpa se o seu modelo não previu o evento.
Conhecer a origem do outlier vai orientar a sua decisão sobre como lidar com ele. Outliers que foram o resultado de erros de entrada de dados pode ser facilmente corrigido após consulta a fonte de dados. Outliers que refletem uma realidade mudança pode pedir-lhe para mudar o seu modelo.
Não há one-size-fits-all resposta quando você está decidindo se deseja incluir ou desconsiderar dados extrema que não é um erro ou falha. Sua resposta depende da natureza da análise que está fazendo - e sobre o tipo de modelo que você está construindo. Em alguns casos, a maneira de lidar com esses valores extremos é simples:
Se você traçar o seu outlier a um erro de entrada de dados quando consultar a fonte de dados, você pode facilmente corrigir os dados e (provavelmente) manter o modelo intacto.
Se isso sensor de água no porto de Baltimore relata água até uma profundidade de 20 pés acima do nível médio do mar, e você está em Baltimore, olha pela janela:
Se Baltimore não é completamente coberta pela água, o sensor é obviamente errado.
Se você vê um peixe olhando no em você, a realidade tem changed- você pode ter que rever o seu modelo.
O flash crash pode ter sido um evento one-time (no curto prazo, pelo menos), mas seus efeitos eram reais - e se você já estudou o mercado a longo prazo, você sabe que algo semelhante pode acontecer novamente. Se o seu negócio é em finanças e você lidar com o mercado de ações o tempo todo, você quer que seu modelo para contabilizar tais aberrações.
Em geral, se o resultado de um evento normalmente considerado um outlier pode ter um impacto significativo sobre o seu negócio, pense em como lidar com esses eventos em sua análise. Manter estes pontos gerais em mente sobre valores atípicos:
O conjunto de dados menor, mais significativos os valores atípicos podem ter impacto sobre a análise.
À medida que desenvolve o seu modelo, certifique-se também desenvolver técnicas para encontrar valores discrepantes e de compreensão sistemática do seu impacto sobre o seu negócio.
discrepantes detecção pode ser um processamento complexo há nenhuma maneira simples de identificá-los.
UMA especialista de domínio (Alguém que conhece o campo que você está modelando) é a melhor pessoa go-to para verificar se um ponto de dados é válido, um outlier pode ignorar, ou um outlier você tem que levar em conta. O especialista de domínio deve ser capaz de explicar o que fatores criou o outlier, o que a sua gama de variabilidade é, e seu impacto sobre o negócio.
ferramentas de visualização pode ajudar a detectar valores atípicos nos dados. Além disso, se você sabe o intervalo esperado de valores pode facilmente consultar dados que esteja fora desse intervalo.