python爬虫时提取数据后跟踪到下一个链接报错怎么办

小编给大家分享一下python爬虫时提取数据后跟踪到下一个链接报错怎么办，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

解决方法：不要将“NoneType”连接到 str。这意味着该next_page变量没有从response.xpath().get()上一行函数中提到的 xpath 中获取任何值。没有匹配的 xpath，因此get()返回None。

示例：

正在尝试制作一个爬虫，它可以从 SCP wiki 中获取信息并跟踪下一个 SCP 的链接并继续像这样。使用当前的代码，从第一个跟踪链接中提取数据后，爬虫停止跟踪到下一个链接。

import scrapyclass QuotesSpider(scrapy.Spider):
    name = "scp"
    start_urls = [
        'https://scp-wiki.wikidot.com/scp-002',
    ]
    def parse(self, response):        for scp in response.xpath('//*[@id="main-content"]'):            yield {                'title': scp.xpath('//*[@id="page-content"]/p[1]').get(),                'tags': scp.xpath('//*[@id="main-content"]/div[4]').get(),                'class': scp.xpath('//*[@id="page-content"]/p[2]').get(),                'scp': scp.xpath('//*[@id="page-content"]/p[3]').get(),                'desc': scp.xpath('//*[@id="page-content"]/p[6]').get(),
            }
        next_page = response.xpath('//*[@id="page-content"]/div[3]/div/p/a[2]/@href').get()
        next_page = 'https://scp-wiki.wikidot.com'+next_page        print(next_page)
        next_page = response.urljoin(next_page)
        print(next_page)        yield response.follow(next_page, callback=self.parse)

当我运行这个代码时，收到了以下错误：

next_page = ' 
TypeError: can only concatenate str (not "NoneType") to str

当出现以上错误时，可以使用本文开头提到的解决方法进行处理。

以上是“python爬虫时提取数据后跟踪到下一个链接报错怎么办”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！