Ampliar o valor dos dados: Enriquecimento
No artigo: Ampliar o valor dos dados: Data Cleansing & Padronização vimos que os processos de Cleansing e Padronização devem ser empregados aos dados relevantes ao Negócio e como resultado desses processos obtemos dados sem inválidos, formatados, seguindo padrões de escrita definidos e separados em campos. E, como consequência, temos um aumento da confiabilidade nesses dados, validação e correção na captura e entrada dos dados, redução de custos com manutenção cadastral e maior assertividade nas ações de marketing e cobrança.
A partir desses dados, podemos criar processos para enriquecer os registros com informações complementares no processo de Enriquecimento. Obtidas de fontes de referência confiáveis, as informações complementares podem ser utilizadas para validar o conteúdo dos dados ou adicionar informações ao registro.
A validação dos dados é um processo que comparará o conteúdo do registro existente na fonte de dados da empresa com as informações existentes na Fonte de Referência. São gerados indicadores para facilmente identificar quais registros possuem dados totalmente compatíveis com a fonte de referência – alta qualidade, quais são totalmente incompatíveis – baixa qualidade, e os que são parcialmente compatíveis – com detalhes sobre quais campos do registro são totalmente iguais, parcialmente iguais ou totalmente diferentes – qualidade intermediária, com diversos níveis de qualidade. Os processos de validação podem ter os indicadores, níveis de qualidade e campos totalmente customizáveis de acordo com a necessidade do Negócio.
Já os processos de enriquecimento que visam adição de informações aos registros são construídos para buscar informações faltantes ou substituir alguns dados por dados totalmente confiáveis existentes nas fontes de Referência. Também são gerados indicadores sobre o resultado do processo de enriquecimento e pode ser customizado de acordo com as necessidades do Negócio.
Os processos de validação e adição de informações podem ser construídos em uma única etapa do processo de Enriquecimento e são comumente empregados com a utilização das Fontes de Referência listadas abaixo.
Exemplos de Fontes de Referência:
Os processos de Enriquecimento podem ser construídos e customizados a partir de qualquer fonte de referência que seja confiável e relevante ao Negócio. Devem ser aplicados os processos de Profiling, Data Cleansing e Padronização nessas fontes de referência para prepará-las para serem utilizadas nos processos de Enriquecimento para garantir a qualidade e confiabilidade dos dados que serão inseridos aos registros e utilizados no Negócio.
O principal resultado dos processos de Enriquecimento é uma base de dados totalmente confiável que contempla indicadores de níveis de qualidade para cada dado e enriquecidas com novas informações obtidas das fontes de Referência. Essa base de dados está pronta para ser utilizada nos próximos processos de tratamento de Qualidade de Dados: Matching e Deduplicação.
O framework de Governança e Qualidade de Dados desenvolvido pela tarks é amplamente customizável, utiliza tecnologia que permitem processamento de amplo volume de dados e aceleram a obtenção dos resultados tanto em ambientes On Premises, processamentos dentro do cluster Hadoop de Big Data e também processamentos em Cloud.
Entre em contato conosco para saber mais detalhes sobre como a tarks pode acelerar o desenvolvimento e implantação dos processos de Governança e Qualidade de Dados no ambiente de Big Data da sua empresa: contato@tarks.com.br .
Diogo Horta
Fundador & CEO da tarks
Comentários