ProvDoop: Captura, Armazenamento e Disponibilização de Dados de Proveniência em Tempo de Execução de Sistemas sobre Hadoop

Grande parte dos experimentos científicos em larga escala envolvem execuções de workflows computacionalmente intensivos e de longa duração. É fundamental que existam meios para o cientista acompanhar essas execuções enquanto elas estão em andamento. Ao acompanhar o andamento da execução de um workflow científico, pode-se tomar decisões e avaliar os resultados em tempo real. Isso permite que o cientista detecte erros mais rapidamente, economizando tempo e recursos financeiros, sobretudo considerando um ambiente como o de nuvem, que possui uma política pay-per-use. Nesta dissertação, apresentamos uma solução não intrusiva para execução de workflows científicos em nuvens computacionais utilizando Hadoop. A arquitetura proposta, intitulada ProvDoop, captura, armazena e disponibiliza dados de proveniência em tempo de execução para execuções com Hadoop. Experimentos realizados com o ProvDoop usando um caso de estudo real da área de bioinformática, mostram que a utilização do ProvDoop não causa impactos significativos no tempo total da execução dos workflows científicos frente aos ganhos que a proveniência em tempo real proporciona. Observou-se que variações no ambiente, como latência da rede, podem causar mais impactos no tempo de execução do que a utilização do ProvDoop, que apresentou melhora de até 4% no tempo total de execução para alguns cenários observados. O ProvDoop viabiliza o acesso aos dados de forma que consultas a um repositório de proveniência possam ser realizadas em tempo de execução, permitindo que o cientista acompanhe as execuções de seus experimentos em tempo real.