Rastreamento de Sites e Monitoramento com Scrapy 0.14

Scrapy é um framework web crawling, desenvolvido para captura de tela rápida em alto nível, utilizado para rastrear sites e extrair dados estruturados a partir de suas páginas. Ele pode ser utilizado para várias finalidades, como extração de informações, processos de monitoramento e testes automatizados.




A nova versão do Scrapy oferece suporte para AJAX (crawlable URLs), adição de um novo scheduler persistent que armazena pedidos no disco, permitindo o resumo e a suspensão de crawls e adição de bultin cache DNS resolver. Houve ainda alguns ajustes e remoções de componentes, como funções, projetos, elementos experimentais, suportes, dentre outras modificações afins.


Saiba Mais:

[1] PentestIT.com http://www.pentestit.com/update-scrapy-014/