Ampliar o valor dos dados: Melhoria contínua – Profiling de dados é o início de tudo. – tarks – ampliar o valor dos dados. esse é o nosso negócio.

Ampliar o valor dos dados: Melhoria contínua – Profiling de dados é o início de tudo.

A Qualidade de Dados é a etapa da Governança de Dados focada em garantir que haja padronização dos dados, enriquecimento e melhoria dos dados recebidos, filtro de dados com problemas, priorização dos dados e origens, composição de registros mais completos e acompanhamento do nível de qualidade das origens, veja o artigo Qualidade de Dados no Big Data da sua empresa: http://tarks.com.br/info/qualidade-de-dados-no-big-data-da-sua-empresa/.

O acompanhamento do nível e da confiabilidade de qualidade dos dados é feito com o Profiling dos dados. Nesse processo é traçado o perfil dos dados com informarções sobre as taxas de preenchimento, os formatos, as classes de dados, indicação de dados sensíveis, as taxas de repetição das informações e os problemas mais frequentes para cada origem de dado.

Além desses levantamentos, regras de validação do conteúdo de cada campo devem ser implementados para garantir que o dado realmente seja confiável tanto na forma quanto com relação aos aspectos do negócio.

Por exemplo, uma data de encerramento de relacionamento de cliente somente pode ser confiável, se for uma data preenchida válida, se for maior que a data de início de relacionamento e, se o cliente realmente cancelou seu relacionamento com a empresa. Para tal, uma regra de validação que verifique e compare o conteúdo desses campos em conjunto deve ser criada e submetida ao processo de Profiling, que atribuirá o nível de confiabilidade do campo: data de encerramento de relacionamento do cliente.

A medida que são executados as análises do perfil dos dados, e as regras de validação são aplicadas, cada origem de informação terá uma nota (score) relativa ao nível de qualidade. A partir disso, devem ser mantidos pontos de comparação (benchmarks) para que seja possível fazer o acompanhamento da evolução das métricas e do nível de qualidade e confiabilidade de cada origem.

Esse acompanhamento do perfil dos dados e da evolução das notas e níveis de qualidade das origens permite que sejam feitos ajustes contínuos nos processos de tratamento e limpeza dos dados, nas processos de padronização, de enriquecimento e de priorização das origens, e permite consequentemente a melhoria contínua da qualidade e confiabilidade de todo o ambiente.

Caso haja interesse em saber mais detalhes sobre como a tarks pode acelerar o desenvolvimento e implantação dos processos de Qualidade de Dados no ambiente de Big Data da sua empresa, entre em contato conosco: contato@tarks.com.br .

 

Diogo Horta
Fundador & CEO da tarks

Compartihe no: