Importando dados para Hive com Sqoop
Aqui, você importar toda a ordem de serviço de banco de dados diretamente do MySQL em Hive e executar uma consulta HiveQL contra o banco de dados recém-importado no Apache Hadoop. A listagem a seguir mostra como ele é feito.
colmeia> criar banco de dados serviceorderdb-OKTime tomadas: 1.343 secondshive> uso serviceorderdb-OKTime tomadas: 0,062 segundos $ Sqoop importação jdbc --connect: mysql: // localhost / serviceorderdb - nome de usuário raiz -P - Mesa productinfo - colmeia-import - colmeia-table serviceorderdb.productinfo -m senha 1Digite: ... 13/08/16 15:17:08 INFO hive.HiveImport: import hive completa $ Sqoop importação jdbc --connect: mysql: /. / localhost / serviceorderdb - nome de usuário raiz -P - mesa customercontactinfo - colmeia-import - colmeia-table serviceorderdb.customercontactinfo -m senha 1Digite: ... 13/08/16 17:21:35 INFO . hive.HiveImport: import hive completa $ Sqoop importação jdbc --connect: mysql: // localhost / serviceorderdb - nome de usuário raiz -P - serviceorders tabela - colmeia-import - serviceorderdb.serviceorders-mesa colmeia -m senha 1Digite: ... 13/08/16 17:26:56 INFO hive.HiveImport: import Hive completa.
Quando as operações de importação são completos, você corre o show tables comando para listar as tabelas recém-importadas (veja a listagem a seguir):
colmeia> show tables-OKcustomercontactinfoproductinfoserviceordersTime tomadas: 0,074 segundos
Em seguida, execute uma consulta Hive para mostrar quais tecnologias Apache Hadoop tem ordens de serviços abertas no banco de dados:
colmeia> productdesc SELECT FROM productinfo> INNER JOIN serviceorders> ON productinfo.productnum = serviceorders.productnum -... OKSuporte HBase ProdutoSuporte Hive ProdutoSuporte Sqoop ProdutoSuporte Pig ProdutoTempo necessário: 28.552 segundos
Você pode confirmar os resultados. Você tem quatro ordens de serviços abertas sobre os produtos em negrito. A operação de importação Sqoop Hive funcionou, e agora a empresa de serviços pode alavancar Hive para consultar, analisar e transformar dados estruturados a sua ordem de serviço.
Além disso, a empresa agora pode combinar seus dados relacionais com outros tipos de dados (talvez não estruturados) como parte de quaisquer novas aplicações analíticas Hadoop. Muitas possibilidades já existem com o Apache Hadoop sendo parte da estratégia geral de TI!