Considerações rack Hadoop
Um dos princípios fundamentais do Hadoop está escalando para fora com nós escravos adicionais para atender à crescente de dados de armazenamento e demandas -Processamento. Em um modelo de scale-out, você deve considerar cuidadosamente projeto cluster porque dezenas, e até centenas, de nós escravos, em última instância precisam ser atormentado, alimentado, em rede, e arrefecida.
fatores de forma Servidor
Uma das primeiras escolhas que os arquitetos de TI terão de enfrentar ao projetar um cluster Hadoop é qual dos seguintes dois fatores de forma a utilizar para nós Hadoop:
servidor Blade: Projetado para máxima densidade, você pode empinar como muitos destes bebês em uma cremalheira possível. Os servidores blade instalação em gabinetes de lâmina, que têm muitos componentes do servidor padrão, como armazenamento dedicado, redes, energia e refrigeração. Estes componentes são partilhados entre os servidores de lâmina, o que significa que cada servidor de lâmina individuais podem ser muito menor.
Os servidores blade são uma opção atraente na superfície, porque você pode ter um rack padrão e implantar entre 40 e 50 desses servidores blade. O problema com o uso de lâminas para implantações Hadoop é que eles dependem de certos componentes compartilhados, o que não está de acordo com a arquitetura sem compartilhamento do Hadoop, onde cada um dos nós escravos são auto-suficientes e têm seus próprios recursos dedicados.
Mais importante ainda, lâminas têm pouco espaço para armazenamento conectado localmente, muitas vezes tendo não mais do que dois ou três compartimentos de unidade. Este é um non-starter para Hadoop, uma vez que nós escravos precisam de muito mais dedicado capacidade de armazenamento.
Rack de servidor: servidores completos sem componentes e espaço para expansão hardware compartilhados, servidores de rack são a verdadeira escolha para Hadoop, porque eles são muito bem auto-suficiente. Um servidor rack que está devidamente configurado para ser um nó escravo Hadoop normalmente ocupa dois RU, para que possa caber 20 deles em um rack padrão.
Custo de propriedade
Ao escolher e projetar um nó escravo, suas considerações mais importantes são normalmente os custos de aquisição iniciais e o volume de armazenamento. No entanto, o custo de manutenção, também é importante. É um ato de equilíbrio muito bem, no entanto, porque as escolhas que afetam o custo de aquisição, o consumo de energia, refrigeração, desempenho de hardware, e densidade são muitas vezes em oposição. Em nome de ajudá-lo a fazer boas escolhas, aqui estão alguns conselhos (muito específica):
Reserve fontes de alimentação redundantes para os nós mestre. Tendo fontes de alimentação redundantes para nós escravos é um exagero - uma falha da fonte de alimentação em um nó escravo não afetaria muito o cluster. No entanto, tendo fontes de energia redundantes em todos os nós escravo iria aumentar o consumo de energia e gerar mais calor.
Escolha de meia-of-the-road velocidades de clock para escravo CPUs nó. CPUs com maior velocidade de clock não só custar mais, mas também usar mais energia e gerar mais calor.
Escolha servidores de rack que são projetados para Hadoop. Com a crescente popularidade do Hadoop, todos os principais fornecedores de hardware oferecem agora servidores de rack que são nós escravos ideais, com 12 a 20 compartimentos de unidade para armazenamento conectado localmente.
servidores de rack projetado para funcionar como nós escravos Hadoop são tipicamente muito grande para caber em um fator de forma de um RU, mas ocupando dois RUs pode resultar em desperdício de espaço. Para o uso mais eficiente do espaço, certos fornecedores de hardware lançaram servidores de rack que empinar vários nós de escravos em um único chassi.
Como um exemplo, nesta forma comprimida, um rack padrão pode ter até 27 nós escravos (mesmo com switches de rede), onde cada nó escravo tem espaço para 15 unidades de disco para HDFS. O resultado deste arranjo é muito maior densidade e melhor utilização do espaço no centro de dados.