Gestão de Dados para Big Data

big data é realmente novo ou é uma evolução na jornada de gerenciamento de dados? É realmente ambos. Tal como acontece com outras ondas de gerenciamento de dados, big data é construído em cima da evolução das práticas de gestão de dados ao longo das últimas cinco décadas. O que é novo é que, pela primeira vez, o custo de ciclos de computação e de armazenamento atingiu um ponto de inflexão. Por que isso é importante?

Apenas alguns anos atrás, as organizações normalmente comprometeria armazenando instantâneos ou subconjuntos de informações importantes, porque o custo de limitações de armazenamento e processamento proibiu-os de armazenar tudo o que queria analisar.

Em muitas situações, este compromisso funcionou bem. Por exemplo, uma empresa de fabricação pode ter recolhido dados da máquina a cada dois minutos para determinar a saúde dos sistemas. No entanto, pode haver situações em que o instantâneo não contêm informações sobre um novo tipo de defeito e que podem passar despercebidos por meses.

Com os dados grandes, agora é possível virtualizar dados de modo que ele pode ser armazenado de forma eficiente e, utilizando armazenamento baseado em nuvem, de forma mais rentável também. Além disso, as melhorias na velocidade de rede e confiabilidade ter removido outras limitações físicas de ser capaz de gerenciar grandes quantidades de dados a um ritmo aceitável.

Adicione a isso o impacto das mudanças nos preços e na sofisticação da memória do computador. Com todas estas transições de tecnologia, agora é possível imaginar maneiras que as empresas podem aproveitar os dados que teria sido inconcebível há apenas cinco anos.

Mas nenhuma transição da tecnologia acontece em isolation- isso acontece quando existe uma necessidade importante que podem ser satisfeitas pela disponibilidade e maturação da tecnologia. Muitas das tecnologias que estão no centro de dados grandes, como a virtualização, o processamento paralelo, sistemas de arquivos distribuídos e bancos de dados em memória, foram em torno de décadas.

análises avançadas também têm sido em torno de décadas, embora não tenham sido sempre prático. Outras tecnologias, como Hadoop MapReduce e ter sido em cena por apenas alguns anos. Esta combinação de avanços tecnológicos podem agora resolver problemas de negócios significativos. As empresas querem ser capazes de obter insights e resultados acionáveis ​​de muitos tipos diferentes de dados na velocidade certa.

Se as empresas podem analisar petabytes de dados (o equivalente a 20 milhões de armários de arquivo de quatro gavetas cheias de arquivos de texto ou 13,3 anos de conteúdo HDTV) com desempenho aceitável para discernir padrões e anomalias, as empresas podem começar a fazer sentido dos dados de novas maneiras. A mudança para a big data não é apenas sobre as empresas.

Ciência, pesquisa, governamentais e atividades também ajudaram a conduzi-lo para a frente. Basta pensar sobre a análise do genoma humano ou lidar com todos os dados astronômicos coletados em observatórios para avançar nossa compreensão do mundo que nos rodeia. Considere a quantidade de dados que o governo recolhe em suas atividades antiterroristas bem, e você começa a idéia de que big data não é apenas sobre negócios.

Diferentes abordagens para a manipulação de dados existem. Dados em movimento seria usado se uma empresa é capaz de analisar a qualidade dos seus produtos durante o processo de fabricação para evitar erros caros. Dados em repouso seria usado por um analista de negócios para entender melhor actuais padrões de compra dos clientes com base em todos os aspectos do relacionamento com o cliente, incluindo vendas, dados de mídia social, e interações de atendimento ao cliente.

Tenha em mente que as empresas ainda estão em um estágio inicial de alavancar grandes volumes de dados para obter uma visão de 360 ​​graus do negócio e antecipar mudanças e mudanças nas expectativas dos clientes. As tecnologias necessárias para obter as respostas às necessidades de negócios ainda estão isolados uns dos outros.

Big data não é simplesmente sobre uma ferramenta ou uma tecnologia. É sobre como todas essas tecnologias se reúnem para dar as informações certas, no momento certo, com base nos dados direita - se é gerado por pessoas, máquinas, ou a web.