Provenance Data as a First-Class Citizen for Deep Learning Workflow Analyses

Workflows de aprendizado profundo (AP) consistem em várias etapas conectadas e repetitivas, incluindo preparação de dados, treinamento, avaliação e implantação de modelos. Cada etapa envolve decisões que impactam o desempenho e a aplicabilidade do modelo final. É essencial rastrear as etapas do workflow que geraram o modelo de AP, para oferecer qualidade e confiabilidade ao modelo. No entanto, as soluções de rastreabilidade existentes frequentemente não oferecem o encadeamento do workflow de AP, dependem de formatos proprietários ou não geram documentos de proveniência que acompanhem os modelos em produção. Essas limitações comprometem os benefícios da rastreabilidade. Apresentamos o DLProv, um conjunto de serviços de proveniência para apoiar a rastreabilidade em workflows de AP. DLProv apoia consultas em SQL durante o treinamento e gera documentos de proveniência que registram a preparação de dados, o treinamento e a avaliação do modelo. Esses documentos seguem o padrão W3C PROV, garantindo interoperabilidade. O DLProv possui uma arquitetura independente de framework de AP, mas também inclui instâncias especializadas para Keras e Redes Neurais Informadas por Física (PINNs). Avaliamos o DLProv em estudos de caso, desde arquiteturas consolidadas de AP até PINNs, mostrando sua capacidade de capturar e gerenciar dados de proveniência, assegurando rastreabilidade em conformidade com o W3C PROV. Os experimentos também analisam o uso do documento de proveniência gerado, permitindo identificar problemas no modelo de AP implantado. Nossos experimentos também mostraram que a integração dos serviços do DLProv não comprometem o tempo de execução do workflow.