python爬虫scrapy框架如何用

Scrapy是一个强大的Python爬虫框架，用于从网站上抓取数据。要开始使用Scrapy，请按照以下步骤操作：

安装Scrapy：

在命令行中输入以下命令以安装Scrapy：

pip install scrapy

创建一个新的Scrapy项目：

在命令行中，导航到您希望创建项目的目录，然后输入以下命令：

scrapy startproject my_project

将my_project替换为您希望使用的项目名称。这将在当前目录下创建一个名为my_project的新文件夹，其中包含Scrapy项目的基本结构。

创建一个新的爬虫：

在项目文件夹中，输入以下命令以创建一个名为my_spider的新爬虫：

cd my_project
scrapy genspider my_spider example.com

将my_spider替换为您希望使用的爬虫名称，将example.com替换为您希望抓取的网站域名。这将在spiders文件夹中创建一个名为my_spider.py的新文件，其中包含爬虫的基本代码。

编写爬虫代码：

打开my_project/spiders/my_spider.py文件并编辑其内容。以下是一个简单的爬虫示例：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/']

    def parse(self, response):
        self.log('Visited %s' % response.url)
        for quote in response.css('div.quote'):
            item = {
                'author_name': quote.css('span.text::text').extract_first(),
                'author_url': quote.xpath('span/small/a/@href').extract_first(),
                'text': quote.css('div.text::text').extract_first(),
            }
            yield item

这个爬虫从http://example.com/开始抓取，并从中提取作者姓名、作者网址和文本。

运行爬虫：

在项目文件夹中，输入以下命令以运行刚刚创建的爬虫：

scrapy crawl my_spider

这将启动爬虫并开始抓取数据。您可以在命令行中查看爬虫的输出，也可以将输出保存到文件中。

保存数据：

Scrapy支持将抓取到的数据保存到不同的格式，例如JSON、CSV或XML。要将数据保存到文件，请在运行爬虫时添加-o选项，如下所示：

scrapy crawl my_spider -o output.json

这将把抓取到的数据保存到名为output.json的文件中。

这只是Scrapy的基本用法。Scrapy还提供了许多高级功能，如中间件、选择器、管道等，以满足更复杂的爬虫需求。要了解更多关于Scrapy的信息，请参阅官方文档：https://docs.scrapy.org/

最新问答

相关标签