Serviços de middleware: Seleção de Dados e extrações
O objetivo principal do-seleção de dados e serviço -extraction é selecionar a partir de (encontrar em) uma fonte de dados os dados que você deseja mover para o armazém de dados e, em seguida, extrair (Retirar) que os dados em um formulário que pode ser preparado para serviços de garantia de qualidade.
Você pode usar um dos dois tipos diferentes de serviços de selecção e de extração para o seu ambiente de armazenamento de dados:
Pegá-los todos e classificar-los mais tarde: Localizar e extrair todos os elementos de dados em uma fonte que deseja carregar em seu armazém de dados, independentemente do facto de um elemento específico foi previamente extraído.
Alterar orientada: Localizar e extrair apenas os elementos de dados que ou foram recentemente adicionados à fonte de dados ou atualizados desde a última extração.
O primeiro tipo de serviço requer menos lógica complexa, a fim de realizar a extracção. Mas você tem que lidar com volumes maiores (por vezes, volumes muito maiores) de dados do que com o segundo tipo, o serviço orientada para a mudança.
O método orientado a mudança de seleção e extração é bastante simples quando sua fonte é um banco de dados relacional que tem um carimbo de tempo que você pode usar para detectar quando uma linha de dados foi adicionado ou actualizado.
Você pode comparar uma linha de dados contra a data e hora do último processo de extração para determinar se os dados precisam ser selecionados e extraídos. Mas, quando os dados são armazenados num ficheiro, que não tem um selo de tempo (de um arquivo VSAM, por exemplo), este processo pode ser significativamente mais difícil.
Você também pode enfrentar um desafio quando dados de origem foi excluído a partir de um arquivo ou um banco de dados. Se as regras de negócio para a sua chamada ambiente de data warehousing para o apagamento de dados correspondentes a partir do armazém, você deve ter uma maneira de detectar exclusões que foram feitas desde o último processo de extração para garantir que as exclusões apropriadas são feitas em seu armazém.
O resultado da seleção e extração é, bem, um extrato de dados que está pronto para sofrer processamento adicional: verificar a qualidade dos dados.