Métodos Computacionais para Modelos Markovianos com Recompensa

A modelagem de sistemas de computação e comunicação é essencial para o entendimento e a predição do comportamento de sistemas. Através dos modelos, diversas perguntas sobre o comportamento destes sistemas podem ser respondidas, tanto relacionadas a confiabilidade quanto ao desempenho.

O objetivo principal desta tese é propor métodos computacionais para a solução de processos estocásticos Markovianos com recompensa. Iremos abordar o problema da modelagem de filas de fluido, através da utilização de processos do tipo Quasi-Birth-Death. Adicionalmente, propomos uma equação de fluido onde a cada estado do modelo é atribuído um conjunto de recompensas de taxa que ocorrem segundo uma distribuição de probabilidades.

Como terceira contribuição desta tese apresentaremos um método aproximado, com controle de erro, para o cálculo do valor esperado da recompensa acumulada para sistemas com estados absorventes. O método proposto é atrativo para o caso onde a cardinalidade do espaço de estados do modelo é da ordem de milhões.

Finalizando, apresentaremos uma metodologia para avaliação da Qualidade de Serviço percebida por um usuário de uma aplicação interativa de voz utilizando a Internet, definida como Pseudo-Subjective Quality Assessment. O trabalho é baseado na teoria desenvolvida recentemente para streaming de áudio e foi estendida nesta tese para a aplicação interativa de voz sobre IP (it Internet Protocol).