Supporting User Steering in Large-Scale Workflows with Provenance Data
Authors:
Autores
| Person role | Person | |
|---|---|---|
|
6816 |
2052,51,2701
|
|
|
6815 |
2052,51,2701
|
|
|
6814 |
2052,51,2701
|
Informations:
Pesc publication
Workflows em Ciência e Engenharia Computacional (CSE) são de larga escala, requerem execução em ambientes de Processamento de Alto Desempenho (PAD) e têm a natureza exploratória da ciência. Durante a execução, que costuma demorar horas ou dias, usuários precisam conduzir o workflow analisando-o e adaptando-o dinamicamente para melhorar a qualidade dos resultados ou reduzir o tempo de execução. Entretanto, eles fazem diversas ações de condução do workflow, que precisam ser rastreadas. Caso contrário, eles têm dificuldade de entender como e o que precisa ser conduzido, podem conduzir de forma errada, pode ser difícil explicar resultados que foram consequências das ações e pode ser impossível de reproduzir os resultados. Para resolver esse problema, esta tese propõe uma abordagem que define os conceitos fundamentais para ações de usuário para condução de workflows; introduz a noção de proveniência de ações de condução; e um diagrama de dados compatível com o padrão W3C PROV para modelar dados de ações de condução com proveniência. Além disso, a abordagem apresenta princípios de projeto de sistemas para gerência de dados de ações de condução através da captura, relacionamento com o restante dos dados do workflow e armazenamento eficiente. Duas instâncias dessa abordagem foram projetadas e implementadas: uma para ser adicionada a scripts paralelos e a outra é usada em um Sistema Paralelo de Gerência de Workflows, as quais são as duas formas típicas de se executar experimentos de CSE em PAD. Através de experimentos com casos reais da indústria de Óleo e Gás, mostra-se que a abordagem permite que usuários entendam como suas ações afetam diretamente os resultados em tempo de execução e também que os princípios de projeto foram essenciais para adicionar sobrecarga desprezível à execução dos workflows em PAD.
Computational Science and Engineering (CSE) workflows are large-scale, require High Performance Computing (HPC) execution, and have the exploratory nature of science. During the long run, which often lasts for hours or days, users need to steer the workflow by dynamically analyzing it and adapting it to improve the quality of results or to reduce the execution time. However, to steer the workflow, users typically perform several interactions (called user steering actions), which need to be tracked. Otherwise, users find it harder to understand how and what needs to be steered, they can steer in a misleading way, it can be difficult to explain the results that were consequences of their actions, and it can be impossible to reproduce the results. This thesis addresses this problem by proposing an approach that defines the fundamental concepts for user steering action; introduces the notion of provenance of steering actions; and contemplates a W3C PROV-compliant data diagram to model steering action data with provenance. Also, the approach presents system design principles to enable the management of steering action data by capturing, explicitly relating the actions to the rest of the workflow data, and storing these data efficiently. Two instances of this approach were designed and built: one is a lightweight tool to be plugged into parallel scripts and the other is to be used within a Parallel Workflow Management System, which are the two typical ways to conduct CSE experiments in HPC. Using real use cases in the Oil and Gas industry, the experiments show that the proposed approach enables users to understand how their actions directly affect the workflow results at runtime and that the system design principles were essential to add negligible overhead to the HPC workflows.