Características de um quadro de análise de Big Data
Mesmo que novos conjuntos de ferramentas de continuar a estar disponível para ajudá-lo a gerenciar e analisar sua estrutura de dados grande de forma mais eficaz, você pode não ser capaz de obter o que você precisa. Além disso, uma gama de tecnologias podem apoiar a análise de dados grande e requisitos, tais como disponibilidade, escalabilidade e alto desempenho. Algumas delas incluem aparelhos grandes de dados, bancos de dados colunar, bases de dados em memória, banco de dados não-relacionais e motores de processamento massivamente paralelo.
Então, quais são os usuários de negócios procurando quando se trata de análise de dados grande? A resposta a essa pergunta depende do tipo de problema de negócios que estão tentando resolver. Algumas considerações importantes que você seleciona um quadro de análise de aplicação de dados grande incluem o seguinte:
Suporte para vários tipos de dados: Muitas organizações estão incorporando, ou esperar para incorporar, todos os tipos de dados como parte de suas implementações de big data, incluindo dados estruturados, semi-estruturados e não estruturados.
Lidar com processamento em lote e / ou fluxos de dados em tempo real: orientação de acção é um produto de análise sobre fluxos de dados em tempo real, enquanto orientação decisão pode ser adequadamente servido por processamento em lote. Alguns usuários exigirá ambos, à medida que evoluem para incluir diferentes formas de análise.
Utilizar o que já existe no seu ambiente: Para obter o contexto certo, pode ser importante para aproveitar os dados e algoritmos existentes no quadro grande análise de dados.
Apoiar NoSQL e outras formas mais recentes de dados de acesso: Embora as organizações vão continuar a usar SQL, muitos também estão olhando para novas formas de acesso a dados para apoiar os tempos de resposta mais rápidos ou vezes mais rápido para a decisão.
Superar a baixa latência: Se você vai estar lidando com velocidade de dados de alta, você vai precisar de uma estrutura que pode suportar os requisitos de velocidade e desempenho.
Fornecer armazenamento barato: Big data significa potencialmente lotes de armazenamento - dependendo da quantidade de dados que você deseja processar e / ou manter.
Integrar-se com implantações de nuvem: A nuvem pode fornecer armazenamento e calcular a capacidade sob demanda. Mais e mais empresas estão usando a nuvem como uma análise # 147-sandbox. # 148- Cada vez mais, a nuvem está se tornando um modelo de implantação importante para integrar os sistemas existentes com implantações de nuvem em um modelo híbrido.
Enquanto todas essas características são importantes, o valor percebido e real de criação de aplicativos a partir de um quadro é o tempo mais rápido para implantação. Com todas estas capacidades em mente, considere um framework de aplicações de análise de dados grande de uma empresa chamada Continuidade.
o continuidade AppFabric é uma estrutura de apoio ao desenvolvimento e implantação de aplicativos de dados grandes. O AppFabric em si é um conjunto de tecnologias especificamente concebidos para abstrair os caprichos de tecnologias de dados grandes de baixo nível. O gerador de aplicações é plug-in que permite que o desenvolvedor para construir, testar e depurar localmente e em ambiente familiar um Eclipse.
capacidades AppFabric incluem o seguinte:
suporte de fluxo para análise em tempo real e reação
Unificado API, eliminando a necessidade de escrever para as grandes infra-estruturas de dados
interfaces de consulta para resultados simples e suporte para processadores de consulta conectáveis
conjuntos de dados que representam dados Queryable e mesas acessíveis a partir do Unified API
Leitura e escrita de dados independentes de formatos de entrada ou de saída ou específicos de componentes subjacentes
processamento de eventos baseados em transações
implantação multimodal para um único nó ou a nuvem
Esta abordagem vai ganhar força para desenvolvimento de aplicativos de dados grande, principalmente por causa da infinidade de ferramentas e tecnologias necessárias para criar um ambiente de dados grande.
A falta de colaboração pode ser caro de muitas maneiras. As grandes organizações podem se beneficiar de ferramentas que impulsionam colaborações. Muitas vezes as pessoas que fazem um trabalho semelhante desconhecem uns dos outros esforços conducentes à duplicação do trabalho.
Outro bom exemplo de uma estrutura de aplicativo é OpenChorus. Além de rápido desenvolvimento de aplicações grandes de análise de dados, ele também suporta colaboração e fornece muitas outras características importantes para desenvolvedores de software, como a integração da ferramenta, controle de versão e gerenciamento de configuração.
Abrir Chorus é um projeto mantido pela EMC Corporation e está disponível sob a licença Apache 2.0. A EMC também produz e suporta uma versão comercial do Chorus. Ambos Abrir Refrão e Refrão têm redes parceiras vibrante, bem como um grande conjunto de contribuintes individuais e corporativos.
Abrir Chorus é uma estrutura genérica. Sua característica de liderança é a capacidade de criar um comunais # 147-hub # 148- para a partilha de fontes grandes de dados, insights, técnicas de análise e visualizações. Abrir Chorus fornece o seguinte:
Repositório de ferramentas de análise, artefatos e técnicas com controle de versão completa, o controle de alterações, e arquivamento
Espaços de trabalho e caixas de areia que são auto-provisionados e mantidos pelos membros da comunidade facilmente
Visualizações, incluindo mapas de calor, séries temporais, histogramas, e assim por diante
A pesquisa federada de todos e quaisquer ativos de dados, incluindo Hadoop, metadados, repositórios SQL e comentários
Colaboração por meio de recursos de rede-como sociais que incentivam a descoberta, compartilhamento e de brainstorming
Extensibilidade para a integração de componentes e tecnologias de terceiros