Abordagens de Técnicas de LSH Aplicadas ao Problema de Similaridade de Documentos

Neste trabalho, são apresentadas quatro novas abordagens para o cálculo da similaridade entre conjuntos de alta dimensionalidade através da estimativa do tamanho relativo da sua interseção. Esses novos métodos foram desenvolvidos a partir da abordagem Minwise Hashing, uma instância da família de funções Locality-Sensitive Hashing. O foco do nosso estudo é explorar diferentes formas de representar documentos em grandes corpora. Cada uma das abordagens propostas examina uma ou mais características (operadores) dos documentos analisados. E, a partir delas, é possível estimar a similaridade entre pares de documentos, extraindo informações úteis para diferentes cenários. Além das abordagens propostas, também apresentamos os experimentos realizados em uma aplicação real de reúso textual, o corpus METER, constituído de publicações jornalísticas da imprensa britânica. Por fim, comparamos os resultados dos experimentos aos produzidos pelo método Minwise Hashing, e constatamos que a abordagem proposta MinMaxwise Hashing apresenta resultados superiores aos obtidos com os outros metodos estudados no presente trabalho.