Gerenciar grandes recursos de dados e aplicações com Hadoop FIO

programação de trabalho e de rastreamento para big data são partes integrantes do Hadoop MapReduce e pode ser usado para gerenciar os recursos e aplicações. As primeiras versões do Hadoop apoiado um sistema de rastreamento de trabalho e tarefas rudimentares, mas como a mistura de trabalho apoiado pelo Hadoop alterado, o programador não poderia manter-se.

Em particular, o antigo programador não poderia gerenciar tarefas não-MapReduce, e foi incapaz de otimizar a utilização cluster. Assim, um novo recurso foi projetado para resolver estas deficiências e oferecer mais flexibilidade, eficiência e desempenho.

Yet Another Resource Negociador (FIO) é um serviço Hadoop núcleo oferecendo dois serviços principais:

• gestão de recursos global (ResourceManager)

• Per-aplicação de gestão (ApplicationMaster)

O ResourceManager é um NodeManager serviço mestre e controle em cada um dos nós de um cluster Hadoop. Incluído no ResourceManager é Scheduler, cuja única tarefa é alocar recursos do sistema para aplicativos em execução específicas (tarefas), mas não monitorar ou controlar o estado do aplicativo.

Todas as informações do sistema exigida é armazenado em um recipiente de recursos. Ele contém CPU detalhado, disco, rede e outros recursos importantes atributos necessários para a execução de aplicações no nó e no cluster.

Cada nó tem uma NodeManager escravizado ao ResourceManager global no cluster. O NodeManager monitora a utilização da aplicação de CPU, disco, rede e memória e relatórios de volta para o ResourceManager. Para cada aplicativo em execução no nó existe um ApplicationMaster correspondente.

Se mais recursos são necessários para apoiar a aplicação em execução, o ApplicationMaster notifica o NodeManager eo NodeManager negocia com o ResourceManager (Scheduler) para a capacidade adicional em nome da aplicação. O NodeManager também é responsável pelo acompanhamento de status do trabalho e do progresso no nó.