Integrar Big Data com o data warehouse tradicional

Enquanto os mundos de big data e o data warehouse tradicional vai se cruzam, é improvável que eles se fundem em breve. Pense em um armazém de dados como um sistema de registro para inteligência de negócios, bem como uma gestão de relacionamento com clientes (CRM) ou sistema de contabilidade. Estes sistemas são altamente estruturada e optimizada para fins específicos. Além disso, estes sistemas de ficha tendem a ser altamente centralizada.

O diagrama mostra uma abordagem típica para fluxos de dados com armazéns e mercados:

Organizações inevitavelmente continuar a usar armazéns de dados para gerenciar o tipo de dados estruturado e operacional que caracteriza sistemas de registro. Estes armazéns de dados ainda fornecerá analistas de negócios com a capacidade de analisar dados-chave, tendências, e assim por diante. No entanto, o advento de big data é ao mesmo tempo desafiar o papel do armazém de dados e fornecendo uma abordagem complementar.

Pense na relação entre o armazém de dados e os dados grandes como se fundindo para se tornar uma estrutura híbrida. Neste modelo híbrido, os dados operacionais otimizado altamente estruturado permanece no armazém de dados rigidamente controlada, enquanto os dados que são altamente distribuída e sujeitos a alterações em tempo real é controlado por uma (NoSQL ou similar) infra-estrutura baseada em Hadoop.

É inevitável que os dados operacionais e estruturados terá de interagir no mundo dos grandes dados, onde as fontes de informação não têm (necessariamente) foram limpos ou perfilada. Cada vez mais, as organizações estão entendendo que eles têm um requisito de negócio para ser capaz de combinar data warehouses tradicionais com suas fontes de dados corporativos históricos com fontes de dados grandes menos estruturados e controlados. A abordagem híbrida apoio a fontes de dados tradicionais e grandes podem ajudar a atingir esses objetivos de negócios.