Paralelismo de Dados Científicos Utilizando Técnicas P2P
Autores
|
4954 |
2221,51
|
|
|
4955 |
2221,51
|
Informações:
Publicações do PESC
Título
Paralelismo de Dados Científicos Utilizando Técnicas P2P
Linha de pesquisa
Engenharia de Dados e Conhecimento
Tipo de publicação
Dissertação de Mestrado
Número de registro
Data da defesa
16/2/2011
Resumo
A complexidade e o tempo de processamento dos modelos de simulação computacional em experimentos científicos trouxe desafios na condução destes experimentos. Os workflows científicos vêm sendo adotados para a ciência em larga-escala. A utilização intensa e os grandes volumes de dados nestes workflows demandam por paralelismo. Entretanto, paralelizar um workflow requer ferramentas específicas e domínio de programação para executá-lo paralelamente em clusters. Buscando tornar a paralelização de workflows mais transparente para o cientista, esta dissertação propõe a abordagem Heracles. O Heracles proporciona um mecanismo de tolerância a falhas e gerência dinâmica de recursos utilizando técnicas P2P. O intuito do Heracles é executar atividades em paralelo sem que o cientista precise estipular o número de nós da execução bem como redistribuir automaticamente as tarefas em caso de falhas no ambiente computacional. Desta forma, o cientista só precisa definir um prazo para a atividade. O Heracles foi avaliado por meio de simulação e neste ambiente mostrou ser capaz de cumprir os prazos definidos para a execução de atividades e de se recuperar de falhas eficientemente. Portanto, pode ser interessante incorporar a abordagem Heracles em escalonadores reais para realizar avaliações mais profundas.
Abstract
The complexity and the processing time of computational simulation models of scientific experiments bring challenges on the conduction of these experiments. Scientific workflows have being adopted on large-scale science. The intense utilization of great volumes of data on these workflows demands parallelism. However, parallelize a workflow requires specific tools and programming skills to run it in parallel in clusters. Trying to turn workflow parallelization more transparent to the scientist, this dissertation proposes the Heracles approach. Heracles proposes a fault tolerant and dynamic resource management mechanism using P2P techniques. The purpose of Heracles is to execute activities in parallel without asking the scientists to specify the number of nodes involved in the execution and to automatically reschedule failed tasks. This way, the scientists only need to define the deadline for the activity. Heracles was evaluated through simulation and showed that it is capable of fulfilling the deadlines of the activities and to recover from failures efficiently. Thus, it may be interesting to integrate Heracles approach on real schedulers to realize deeper evaluations.
Arquivo