AAF-GAN: Aplicação de Funções de Ativação Hiperbólicas Adaptativas em Redes Neurais Adversárias Generativas
Authors:
Autores
| Person role | Person | |
|---|---|---|
|
6978 |
3103,312
|
|
|
6979 |
3103,312
|
Informations:
Pesc publication
As redes neurais adversárias generativas (GANs) são uma arquitetura recente de modelo generativo em que duas redes neurais são treinadas competindo entre si, onde o gerador busca produzir amostras semelhantes aos dados reais sem acesso direto à base de dados e o discriminador busca maximizar seus acertos em classificar quais exemplos são falsos e quais são reais. Umas das alternativas que busca melhorar o desempenho de redes neurais até então não explorada em redes GANs são as funções de ativação adaptativas. Estudos recentes indicam que funções adaptativas baseadas na técnica de penalização hiperbólica são capazes de acelerar a convergência durante o treinamento de redes neurais multicamadas.
Neste trabalho, apresentamos uma nova abordagem para redes GANs através da aplicação de funções de ativação adaptativas baseadas em penalização hiperbólica com o objetivo de analisar seu impacto na qualidade das amostras geradas na tarefa de geração de imagens. Propomos também uma nova versão para a função Mish com parâmetros treináveis utilizando uma função bi-hiperbólica em sua fórmula. Por fim, exploramos uma limitação teórica da função bi-hiperbólica assimétrica adaptativa (BHAA) no que diz respeito ao seu intervalo de atuação, propondo uma versão normalizada. Resultados mostraram que certas estratégias podem melhorar a convergência da rede GAN utilizando as funções estudadas. Além disso, validamos que a função MiDA é capaz de melhorar, ou no mínimo, manter a performance da rede GAN quando comparada com uso da função Mish. As descobertas formam diretrizes de aplicações na arquitetura de redes adversárias que podem ser base para mais estudos na área.
Generative adversarial networks (GANs) are a generative model architecture proposed a few years ago where two neural networks train against each other. The generator network tries to produce samples similar to real data with no direct contact with them, and the discriminator network attempts to maximize the accuracy of predicting which data is fake generated and legit from the dataset. Adaptive activation functions are an approach yet not explored in GANs that could improve their performance. Specifically, functions based on the hyperbolic penalization technique indicate that convergence can be improved in the multi-layer network's training's early epochs.
In this work, we propose a new approach to GANs networks by applying adaptive activation functions based on hyperbolic penalization to analyze the impact on the generated samples quality, considering the image generation task. We also propose a new version using adaptive parameters for the Mish function by changing its formula to use a hyperbolic function to self-gating. Finally, we explore the theoretical limitation of the Adaptive Asymmetric Bi-hyperbolic function due to non-limited boundaries by proposing a new normalized formulation. We found strategies resulting in better performance for early convergence for GANs. Also, we validate that the MiDA function can, at minimum, improve the convergence compared to Mish performance. The discoveries were compiled into guidelines that can be used as the base for applying adaptive functions to GANs.