Os Princípios da Sqoop projeto

Quando se trata de Sqoop, uma imagem é muitas vezes vale mais que mil palavras, então confira a figura, que lhe dá uma visão panorâmica da arquitetura Sqoop.

A idéia por trás Sqoop é que ele aproveita mapa tarefas - tarefas que realizam a importação paralela e exportação de tabelas de banco de dados relacionais - desde no âmbito Hadoop MapReduce. Esta é uma boa notícia porque o quadro MapReduce fornece tolerância a falhas para trabalhos de importação e exportação, juntamente com processamento paralelo!

Você vai apreciar a tolerância a falhas, se houver uma falha durante uma grande importação de mesa ou de exportação porque o quadro MapReduce vai se recuperar sem a necessidade de iniciar o processo todo novamente.

Sqoop pode importar dados para Hive e HBase. Note, no entanto, que as setas para colmeia e ponto HBase em apenas uma direção. Os dados armazenados em qualquer banco de dados relacional com suporte JDBC pode ser diretamente importado para os sistemas de colméia ou HBase com Sqoop. Exportações, no entanto, são realizados a partir dos dados armazenados no HDFS.

Portanto, se você precisa exportar suas tabelas Hive, você apontar Sqoop aos diretórios HDFS que armazenam suas tabelas colmeia. Se você precisa exportar tabelas HBase, você primeiro tem que exportá-los para HDFS e, em seguida, executar o comando de exportação Sqoop.