A Origem e Design do Hadoop
Então, o que exatamente é essa coisa com o nome engraçado - Hadoop? Na sua essência, o Hadoop é uma estrutura para o armazenamento de dados em grandes aglomerados de mercadoria hardware - hardware de computador todos os dias que é acessível e facilmente disponíveis - e os aplicativos em execução contra esses dados. UMA grupo é um grupo de computadores interligados (conhecido como nós) Que podem trabalhar em conjunto sobre o mesmo problema.
O uso de redes de recursos de computação acessíveis para adquirir o conhecimento do negócio é a proposição de valor-chave do Hadoop.
Quanto a esse nome, Hadoop, não olhe para qualquer grande importância lá- é simplesmente o nome que o filho de Doug Cutting deu a seu elefante de pelúcia. (. Doug Cutting, é claro, o co-criador do Hadoop) O nome é único e fácil de lembrar - características que a tornaram uma ótima escolha.
Hadoop consiste em dois componentes principais: um quadro de processamento distribuído chamado MapReduce (que agora é suportado por um componente chamado FIO) e um sistema de arquivos distribuídos conhecido como o Hadoop Distributed File System, ou HDFS.
Um aplicativo que está sendo executado em Hadoop recebe o seu trabalho dividido entre os nós (máquinas) no cluster, e HDFS armazena os dados que serão processados. Um cluster Hadoop pode abranger milhares de máquinas, onde HDFS armazena dados e trabalhos de MapReduce fazer seu tratamento perto os dados, o que mantém I / O baixo custo. MapReduce é extremamente flexível, e permite o desenvolvimento de uma ampla variedade de aplicações.
Como você deve ter imaginado, um cluster Hadoop é uma forma de cluster de computação, um tipo de cluster que é usado principalmente para fins computacionais. Em um cluster de computação, muitos computadores (nós de computação) Pode compartilhar cargas de trabalho computacional e tirar proveito de uma grande largura de banda agregada em todo o cluster.
clusters Hadoop tipicamente consistem de alguns nós mestre, que controlam os sistemas de armazenamento e processamento no Hadoop, e muitos nós escravos, que armazenar todos os dados do cluster e é também onde os dados são processados.