Scrapy支持增量爬取的方式有多种:
JOBDIR
参数可以将爬取过程中的状态保存下来,当再次运行爬虫时会从上一次停止的地方继续爬取。scrapy crawl myspider -s JOBDIR=jobdir
scrapy-deltafetch
插件来实现增量爬取。这个插件会记录每个请求的指纹,当再次请求相同的URL时会检查指纹,如果已经爬取过则不再请求。pip install scrapy-deltafetch
DOWNLOADER_MIDDLEWARES = {
'scrapy_deltafetch.DeltaFetch': 100,
}
class MySpider(scrapy.Spider):
name = 'myspider'
def start_requests(self):
# 查询数据库获取上次爬取的时间戳
last_timestamp = get_last_timestamp()
# 构造请求并传递时间戳参数
yield scrapy.Request(url='http://example.com', meta={'last_timestamp': last_timestamp}, callback=self.parse)
def parse(self, response):
last_timestamp = response.meta.get('last_timestamp')
# 解析页面内容并比较时间戳,只爬取新的数据
for item in response.css('div.item'):
timestamp = item.css('span.timestamp::text').extract_first()
if timestamp > last_timestamp:
yield {
'title': item.css('h2.title::text').extract_first(),
'link': item.css('a::attr(href)').extract_first(),
'timestamp': timestamp
}
通过以上方式,可以实现Scrapy的增量爬取功能,从而避免重复爬取数据。