Como escolher uma arquitetura de cluster Hadoop

Hadoop é projetado para ser implantado em um grande aglomerado de computadores em rede, com nós mestre (que hospedam os serviços que controlam o armazenamento e processamento de Hadoop) e nós escravos (onde os dados são armazenados e processados). Você pode, no entanto, executar Hadoop em um único computador, que é uma ótima maneira de aprender as noções básicas de Hadoop através da experimentação em um espaço controlado.

Hadoop tem dois modos de implantação: o modo distribuído-pseudo e modo totalmente distribuído, ambos os quais são descritos aqui.

de modo distribuído pseudo-(nó único)

Um único nó implantação Hadoop é referido como sendo executado Hadoop em pseudo-distribuído mode, onde todos os serviços do Hadoop, incluindo os serviços de mestre e escravo, todos executados em um nó de computação única. Esse tipo de implantação é útil para testar rapidamente aplicativos enquanto você estiver desenvolvendo-los sem ter que se preocupar sobre como usar os recursos de cluster Hadoop alguém pode precisar.

É também uma maneira conveniente de experimentar com Hadoop, como a maioria de nós não tem clusters de computadores à nossa disposição.

Modo totalmente distribuído (um conjunto de nodos)

A implantação Hadoop, onde os serviços de mestre e escravo Hadoop executado em um cluster de computadores está sendo executado em que é conhecido como modo totalmente distribuído. Este é um modo apropriado para clusters de produção e pólos de desenvolvimento. Uma outra distinção pode ser feita aqui: a Pólo de desenvolvimento normalmente tem um pequeno número de nós e é usado para fazer o protótipo as cargas de trabalho que eventualmente executados em um cluster de produção.