Gestor de Recursos do FIO

O componente central do FIO (mais um recurso Negotiator) é o Gerenciador de recursos, que rege todos os recursos de processamento de dados no cluster Hadoop. Simplificando, o Gerenciador de recursos é um programador dedicado que atribui recursos para aplicações que solicitam. Suas únicas tarefas são manter uma visão global de todos os recursos no cluster, o tratamento dos pedidos de recursos, programação do pedido, e depois atribuir recursos para o aplicativo solicitante.

O Resource Manager, um componente crítico em um cluster Hadoop, deve ser executado em um nó mestre dedicado.

Mesmo que o Gerenciador de recursos é basicamente um programador puro, ele se baseia em módulos Scheduler para a lógica de programação real. Você pode escolher entre os mesmos programadores que estavam disponíveis no Hadoop 1, que foram todos atualizados para trabalhar com FIO: FIFO (first in, first out), Capacidade, ou quinhão.

O Gerenciador de recursos é completamente agnóstica em relação a ambas as aplicações e frameworks - ele não tem nenhum cães nessas caçadas particulares, em outras palavras. Ele não tem noção de mapa ou reduzir as tarefas, ele não acompanhar o progresso de empregos ou suas tarefas individuais, e não lidar com failovers.

Em suma, o Gerenciador de recursos é uma partida completa desde o daemon JobTracker para ambientes Hadoop 1. O que o Gerenciador de recursos faz é cargas de trabalho de programação, e ele faz esse trabalho também.

Esse alto grau de separação de funções - concentrando-se em um aspecto, ignorando tudo o resto - é exatamente o que faz FIO muito mais escalável, capaz de fornecer uma plataforma genérica para aplicações, e capaz de suportar uma Multi inquilino cluster do Hadoop - multi-tenant porque as unidades de negócios diferentes podem compartilhar o mesmo cluster Hadoop.