Aprendizado de Máquina Aplicado a Classificação de Documentos Jurídicos em Ambiente de Baixo Poder Computacional

O retreino parcial de modelos BERT pode proporcionar grande parte do ganho de desempenho comparado ao retreino de todas as camadas do modelo e ao mesmo tempo economiza recursos computacionais. No caso da Caixa de Intimações Com Inteligência Artificial (CICIAR), o desempenho do retreino parcial do modelo BERT foi medido em relação ao modelo de referência. 

O CICIAR é uma ferramenta desenvolvida para a Defensoria Pública do Estado do Rio de Janeiro e é integrada ao sistema Verde. O sistema Verde ajuda a gestão e as atividades diárias dos Defensores Públicos. Neste contexto, o CICIAR faz previsões de rótulos de intimações utilizando informações de contexto sem abri-las. A abertura da intimação inicia uma contagem regressiva de 10 dias, portanto, o sistema deve prever o rótulo sem abri-la.

Os experimentos foram realizados liberando uma fração de camadas do modelo para o treinamento e adaptando os hiperparâmetros. A base de dados utilizada contém intimações e contextos das intimações em português brasileiro.

Os experimentos mostraram melhorias no desempenho da classificação com as mudanças propostas. As configurações de base utilizadas na aplicação têm uma precisão ponderada de 0,74. A melhor combinação aumenta este resultado para 0,826, refinando a última camada do modelo BERT e modificando os hiperparâmetros.