Um Crawler Peer-to-Peer Baseado em Agentes
Autores
|
4433 |
299,1987
|
|
|
4434 |
299,1987
|
Informações:
Publicações do PESC
Existem várias iniciativas na comunidade científica para produzir crawlers mais eficientes, contudo, ainda persistem os problemas quanto à utilização de recursos computacionais e a identificação de servidores hospedeiros de páginas Web próximos aos crawlers. Nessa dissertação é apresentado um sistema multiagente para realizar o processo de captura de páginas da Web. Este sistema utiliza um mecanismo de distribuição e balanceamento de carga desenvolvido sobre uma plataforma peer-to-peer, visando localizar os servidores mais próximos dos crawlers distribuídos, permitindo que estes atuem de forma colaborativa através das informações coletadas ao longo de suas atividades, buscando otimizar o uso de recursos computacionais.
Although the scientific community has been able to design increasingly more efficient web crawlers, the challenge posed both by the use of computational resources and the identification of web page host servers in the neighborhood of these crawlers still remains. This dissertation introduces a multi-agent system capable of capturing pages on the web. This system deploys a load distribution and balancing mechanism developed on a peer-to-peer platform with the aim of locating servers in the neighborhood of distributed web crawlers, thereby allowing the latter to perform collaboratively based on the information gleaned from their activities. The ultimate purpose is to optimize the use of computational resources.