Camada 0 do Big Data Stack: Redundant Infra-estrutura Física

No nível mais baixo da pilha de dados é o tamanho da infra-estrutura física. Sua empresa já pode ter um centro de dados ou investimentos feitos em infra-estruturas físicas, então você vai querer encontrar uma maneira de utilizar os ativos existentes.

implementações de Big Data tem exigências muito específicas sobre todos os elementos da arquitetura de referência, então você precisa examinar esses requisitos em base, camada por camada para garantir que a sua implementação irá executar e de escala de acordo com as exigências do seu negócio.

A lista de prioridades dos princípios de big data deve incluir declarações sobre o seguinte:

• Atuação: Como resposta que você precisa que o sistema seja? Desempenho, também chamada latência, é frequentemente medido de ponta a ponta, com base em uma única transação ou solicitação de consulta.

• Disponibilidade: Você precisa de uma garantia de uptime de 100 por cento do serviço? Quanto tempo pode o seu negócio esperar no caso de uma interrupção de serviço ou fracasso?

• escalabilidade: Quão grande é que a sua infra-estrutura precisa ser? Quanto espaço em disco é necessário hoje e no futuro? Quanto poder de computação que você precisa? Normalmente, você precisa decidir o que você precisa e, em seguida, adicionar um pouco mais escala para desafios inesperados.

• Flexibilidade: O quão rápido você pode adicionar mais recursos para a infra-estrutura? Com que rapidez a sua infra-estrutura de recuperação de falhas?

• Custo: O que você pode pagar? Porque a infra-estrutura é um conjunto de componentes, você pode ser capaz de comprar o # 147-best # 148- rede e decidir poupar dinheiro em armazenamento. Você precisa estabelecer requisitos para cada uma dessas áreas no contexto de um orçamento global e, em seguida, fazer concessões, se necessário.

Tão grande de dados é tudo sobre a alta velocidade, de alto volume e variedade de alta de dados, infra-estrutura física vai literalmente # 147-fazer ou quebrar # 148- a implementação. A maioria dos grandes implementações de dados precisam ser altamente disponível, de modo a redes, servidores e armazenamento físico deve ser resistente e redundante. Resiliência e redundância estão interligados.

Uma infra-estrutura, ou um sistema, é resistente a falhas ou muda quando os recursos redundantes suficientes estão no lugar, pronto para entrar em ação. A redundância garante que um tal defeito não irá causar uma interrupção. Resiliência ajuda a eliminar pontos únicos de falha em sua infra-estrutura.

Em grandes centros de dados com requisitos de continuidade de negócios, a maioria da redundância é no lugar e pode ser aproveitado para criar um ambiente de dados grande. Em novas implementações, os designers têm a responsabilidade de mapear a implantação para as necessidades do negócio com base nos custos e desempenho.

Isto significa que a complexidade técnica e operacional é mascarado por trás de uma colecção de serviços, cada uma com condições específicas de desempenho, disponibilidade, recuperação, e assim por diante. Estes termos são descritas em acordos de nível de serviço (SLAs) e geralmente são negociados entre o prestador de serviços eo cliente, com as penalidades.

Com efeito, isso cria um centro de dados virtual. Mesmo com esta abordagem, você ainda deve saber o que é necessário para criar e executar uma implantação de dados grande para que você possa fazer as seleções mais adequadas a partir das ofertas de serviços disponíveis. Apesar de ter um SLA, a sua organização ainda tem a responsabilidade final para o desempenho.

redes de dados grandes redundantes física

As redes devem ser redundante e deve ter capacidade suficiente para acomodar o volume antecipado e velocidade dos dados de entrada e saída, além da tráfego nº 147 do normal # 148- rede experimentado pelo negócio. Como você começar a fazer grandes de dados é parte integrante da sua estratégia de computação, é razoável esperar que o volume e velocidade para aumentar.

designers de infra-estrutura deve planejar para estes aumentos esperados e tentar criar implementações físicas que são # 147-elástica. # 148- Como o tráfego de rede fluxos e refluxos, o mesmo acontece com o conjunto de ativos físicos associados com a implementação. Sua infra-estrutura deve oferecer capacidades de monitoramento para que os operadores possam reagir quando são necessários mais recursos para lidar com mudanças nas cargas de trabalho.

Gerenciar hardware de dados grande: Armazenamento e servidores

Da mesma forma, o hardware (armazenamento e servidor) ativos deve ter velocidade e capacidade suficiente para lidar com todas as capacidades de dados grandes esperados. É de pouca utilidade para ter uma rede de alta velocidade com servidores lentos porque os servidores provavelmente irá se tornar um gargalo. No entanto, um conjunto muito rápido de servidores de armazenamento e computação pode superar o desempenho da rede variável. Claro, nada vai funcionar corretamente se o desempenho da rede é pobre ou não confiável.

operações de grandes infra-estruturas de dados

Outra consideração importante do projeto é o gerenciamento de operações de infra-estrutura. Os maiores níveis de desempenho e flexibilidade estará presente somente em um ambiente bem gerenciado. gerentes de centros de dados precisam ser capazes de antecipar e prevenir falhas catastróficas de modo que a integridade dos dados, e por extensão os processos de negócio, é mantida. As organizações de TI muitas vezes ignoram e, portanto, investir menos nesta área.