Sistema Hadoop Distributed File (HDFS) Federação

A solução para expandir clusters Hadoop indefinidamente é federado NameNode. Antes Hadoop 2 entrou em cena, clusters Hadoop tinha que viver com o fato de que NameNode colocou limites sobre o grau em que eles poderiam escalar. Poucos grupos foram capazes de escala para além de 3.000 ou 4.000 nós.

necessidade de NameNode para manter registros para cada bloco de dados armazenados no cluster acabou por ser o fator mais importante restringir um maior crescimento cluster. Quando você tem muitos blocos, torna-se cada vez mais difícil para o NameNode para dimensionar-se como o cluster do Hadoop escalas fora.

Especificamente, você deve definir HDFS-se para que você tenha várias instâncias NameNode executados em seus próprios, nós mestres dedicados e, em seguida, fazendo com que cada NameNode responsável apenas pelos blocos de arquivos em seu próprio espaço de nome.

A figura mostra padrões de replicação de blocos de dados em HDFS. Você pode ver um cluster Hadoop com dois NameNodes servindo um único cluster. Os nós escravos, todos contêm blocos de ambos os espaços de nomes.