这篇文章主要介绍了python爬虫框架Scrapy怎么安装使用的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇python爬虫框架Scrapy怎么安装使用文章都会有所收获，下面我们一起来看看吧。
官方示意图：
自制示意图：
直接在命令行pip即可，此外还需要安装一个依赖库pypiwin32，也是直接pip即可
pip install scrapy pip install pypiwin32
创建项目：
scrapy startproject [爬虫项目名称]
创建爬虫
注意：要先进入到项目所在的路径，再执行命令
scrapy genspider [爬虫名称] "[爬取的域名]"
打开pycharm以后即可看到：
| 目录名称 | 作用 |
|---|---|
| items.py | 用来存放爬虫爬取下来数据的模型 |
| middlewares.py | 用来存放各种中间件的文件 |
| pipelines.py | 用来将items的模型存储到本地磁盘 |
| settings.py | 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等） |
| scrapy.cfg | 项目的配置文件 |
| spiders包 | 以后所有的爬虫都存放在这个里面 |
关于“python爬虫框架Scrapy怎么安装使用”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“python爬虫框架Scrapy怎么安装使用”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
