Interpretable Reinforcement Learning Via Evolutionary Decision Trees

Recentemente, algoritmos de Reinforcement Learning (RL) foram aplicados com sucesso em uma vasta gama de tarefas, desde direção autônoma a tratamentos médicos dinâmicos. No entanto, a maioria dos modelos bem-sucedidos neste campo são construídos com redes neurais profundas, e portanto possuem um baixo nível de interpretabilidade que limita suas aplicações no mundo real. Nesta tese, nós abordamos esse problema substituindo as redes neurais profundas por um modelo de aprendizado de máquina altamente interpretável: árvores de decisão. Primeiramente, nós conduzimos uma revisão exaustiva dos últimos 10 anos de pesquisa em árvores, preenchendo uma lacuna na literatura ao conectar linhas de pesquisa isoladas sob uma perspectiva única e  determinar o estado-da-arte destes modelos. Segundamente, nós separamos os Algoritmos Evolutivos como a abordagem de otimização a ser utilizada, e propomos uma codificação matricial inovadora que reduz em até 20 vezes o custo computacional de evoluir árvores de decisão para problemas de classificação. Em seguida, nós partimos para o campo de Reinforcement Learning ao propormos um algoritmo capaz de evoluir, com sucesso, árvores de decisão para problemas de RL; este algoritmo é a peça-chave da nossa tese. Sua essência está no uso de técnicas de Imitation Learning para a inicialização do processo evolutivo, assim como no uso de um método de poda inovador chamado Reward Pruning, capaz de reduzir o tamanho das árvores sem comprometer seu desempenho. A abordagem como um todo foi testada em três benchmarks populares de RL, assim como numa tarefa de fertilização de colheita baseada em um problema do mundo real. Até onde sabemos, esta abordagem é a primeira a resolver o benchmark Lunar Lander mantendo tanto interpretabilidade quanto alto desempenho (90% de taxa de sucesso), além de ser a primeiro a resolver o benchmark Mountain Car com apenas 7 nós (aproximadamente metade do melhor resultado anteriormente reportado na literatura), e na tarefa de fertilização inspirada no mundo real, é a primeira a produzir resultados interpretáveis enquanto alcança o mesmo desempenho que redes neurais profundas. Analisamos as melhores soluções mais a fundo e demonstramos que não apenas elas são interpretáveis, como também são diversas, o que empodera o usuário final ao fornecer a ele a escolha de qual modelo melhor se encaixa nos seus critérios e requisitos próprios. De maneira geral, os resultados desta tese avançam o estado-da-arte de RL interpretável, abrindo caminho para o uso de RL em domínios onde confiança e segurança são preocupações cruciais.