Networking e clusters Hadoop

Como acontece com qualquer sistema distribuído, a rede pode fazer ou quebrar um cluster Hadoop: Não # 147-go barato. # 148- Uma grande quantidade de conversa ocorre entre os nós mestre e nós escravos em um cluster Hadoop que é essencial para manter o cluster em execução, de modo interruptores de classe empresarial são definitivamente recomendado.

Para cada rack no seu cluster, você precisa de dois switches top-of-rack (ToR), tanto para redundância e desempenho. Use 10GbE para interruptores TOR.

interruptores ToR são switches de rede que conectam todos os computadores em um rack juntos. Você normalmente vê-los no topo de um rack, é por isso que as pessoas dizem # 147-top-of-rack. # 148- Uma abordagem alternativa de rede é a utilização de fim-de-linha interruptores (EOR), mas, você não vê isso muito frequentemente.

A abordagem ToR é mais simples do ponto de vista de rede para clusters de crescimento. Por exemplo, adicionar nós escravos e racks adicionais é muito mais fácil com interruptores ToR que EoR.

Quando você tem mais de três prateleiras, você precisa de pelo menos dois switches core (novamente, principalmente para a redundância, mas também para o desempenho). Estes switches core lidar com grandes quantidades de tráfego, de modo 40GbE é uma necessidade.

Se você está construindo ou expandir um cluster para abranger várias prateleiras, contratar peritos que estão familiarizados com Hadoop, seus planos de crescimento futuro, e sua carga de trabalho em rede. Bad rede pode prejudicar severamente o desempenho, mas também pode tornar o crescimento futuro doloroso e caro.