Node Manager do fio em Hadoop

Cada nó escravo em mais um recurso Negociador (FIO) tem um daemon Node Manager, que atua como um escravo para o Gerenciador de recursos. Tal como acontece com o TaskTracker, cada nó escravo tem um serviço que liga para o serviço de processamento (Node Manager) e o serviço de armazenamento (DataNode) que permitem Hadoop para ser um sistema distribuído.

Cada Node Manager rastreia os recursos de processamento de dados disponíveis em seu nó escravo e envia relatórios periódicos ao Gerenciador de recursos.

Os recursos de processamento de um cluster Hadoop são consumidos em pedaços pequenos chamados recipientes. UMA recipiente é uma coleção de todos os recursos necessários para executar um aplicativo: núcleos de CPU, memória, largura de banda e espaço em disco. Um recipiente implantado é executado como um processo individual em um nó escravo em um cluster Hadoop.

O conceito de um recipiente pode lembrá-lo de um entalhe, a unidade de processamento utilizado pelo JobTracker e TaskTracker, mas eles têm algumas diferenças notáveis. Mais significativamente, os recipientes são genéricos e pode executar qualquer lógica de aplicação que está dado, ao contrário de slots, que são especificamente definidos para ser executado quer mapear ou reduzir as tarefas. Além disso, os recipientes podem ser solicitadas com valores personalizados de recursos, enquanto as faixas são todas uniformes.

Enquanto o montante solicitado está dentro dos limites máximos do que é aceitável para um recipiente (e desde que a quantidade de memória solicitada é um múltiplo da quantidade mínima) e mínimo, o Gerenciador de recursos irá conceder e agendar esse recipiente.

Todos os processos de contêiner em execução em um nó escravo são inicialmente provisionado, monitorado e controlado pelo daemon Node Manager desse nó escravo.