这篇文章将为大家详细讲解有关什么是scrapy框架，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。
一、安装scrapy框架
pip install scrapy
二、创建一个scrapy项目
安装完成后，python会自动将 scrapy命令添加到环境变量中去，这时我们就可以使用 scrapy命令来创建我们的第一个 scrapy项目了。
打开命令行，输入如下命令
scrapy startproject yourproject
这里的 startproject 命令将会在当前目录下创建一个 scrapy项目，后面跟着的参数是需要创建的项目的名称。
比如这里我们会创建一个名为 yourproject 的项目，项目结构如下：
yourproject/ scrapy.cfg yourproject/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...
这些文件分别是：
scrapy.cfg: 项目的配置文件
yourproject/: 该项目的python模块。该项目的所有代码都在这个目录下
yourproject/items.py: 项目中的item文件，我们在这个文件里定义要爬取的数据，有点类似于 Django的 model。
yourproject/pipelines.py:项目中的pipelines文件（我把这个称为通道文件，意思就是数据处理的通道），对爬取到的数据进行处理（如：储存）
yourproject/settings.py: 项目的设置文件，设置全局变量的值、通道的开启和关闭以及多个通道和爬虫的执行优先级
yourproject/spiders/: 爬虫的主要逻辑都在这个文件夹里，包括页面请求、数据提取、反爬措施等。
关于什么是scrapy框架就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
