Put Your Big Data Juntos

Como você vai saber como colocar todos os seus dados juntos? Com um projeto de dados grande, o que você quer fazer com os seus dados estruturados e não estruturados indica quais você pode escolher uma peça de tecnologia sobre outra. Ele também determina a necessidade de compreender as estruturas de dados de entrada para colocar estes dados no lugar certo.

Gerenciar diferentes tipos de dados para big data

Você vai precisar de considerar algumas das características dos dados grandes e os tipos de sistemas de gestão de dados que você pode querer usar para tratar de cada um.

Integrar os tipos de dados em um ambiente de dados grande

Outro aspecto importante do big data é que muitas vezes você não precisa possuir todos os dados que você irá usar. Muitos exemplos fazer o ponto. Você pode estar se aproveitando de dados de mídia social, os dados provenientes de terceiros estatísticas da indústria, ou mesmo dados provenientes de satélites. Basta pensar sobre a mídia social e você vai entender.

Muitas vezes, torna-se necessário integrar diferentes fontes. Estes dados podem ser provenientes de todos os sistemas internos, tanto de fontes internas e externas, ou a partir de fontes completamente externas. Muitos desses dados pode ter sido silos antes.

Os dados não precisam ser próximos a você em tempo real. Você só pode ter um monte de que e é díspar na natureza. Esta pode ainda ser considerada como um problema de dados grande. Claro, você também poderia ser confrontado com um cenário em que você está vendo enormes volumes de dados, em altas velocidades, e é díspar na natureza.

O ponto é que você não vai ter o valor de negócio se você lidar com uma variedade de fontes de dados como um conjunto de silos desconexos de informação.

Componentes que você precisa incluem conectores e metadados.

conectores

Você quer ter alguns conectores que permitem extrair dados a partir de várias fontes de dados grandes. Talvez você quer um conector Twitter ou um Facebook. Talvez você precisa para integrar a partir de seu armazém de dados com uma fonte de dados grande que está fora de suas instalações para que você possa analisar essas duas fontes de dados em conjunto.

metadados

Um componente fundamental para a integração de todos esses dados são os metadados. metadados é as definições, mapeamentos e outras características usadas para descrever como encontrar, acessar e usar dados de uma empresa (e software) componentes. Um exemplo de metadados são dados sobre um número de conta. Isso pode incluir o número, descrição, tipo de dados, nome, endereço, número de telefone e nível de privacidade.

Os metadados podem ser utilizados para ajudar a organizar os seus armazenamentos de dados e lidar com fontes novas e em mudança dos dados. Embora a ideia de metadados não é novo, ele está mudando e evoluindo no contexto de big data. No mundo metadados tradicional, é importante ter um catálogo que fornece uma visão única de todas as fontes de dados.

Mas este catálogo terá de ser diferente quando você não controla todas essas fontes de dados. Você pode precisar de uma ferramenta analítica que o ajudará a entender os metadados subjacente.