这篇文章主要讲解了“Python的Scrapy框架知识点有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Python的Scrapy框架知识点有哪些”吧！
Scrapy是一个快速、高层次的屏幕抓取和web抓取的框架,可用于数据挖掘、监测和自动化检测，任何人都可以根据需要去进行修改。
1.Scrapy引擎（Scrapy Engine）：负责控制数据流在系统的所以组件中的流动，并在相应动作发生时触发事件。
2.调度器（Scheduler）:从引擎接受reques并将其入队，便于以后请求它们提供给引擎。
3.下载器（Downloader）：负责获取网页数据并且提供给引擎，然后提供给Spider。
4.Spiders： 指Scrapy用户编写用于分析response并且提取item或额外跟进的URL类人。每个Spider负责处理一些特定网站。
5.Item Pipeline：负责处理被Spider提取出来的item。典型的处理有清洁、验证及持久化
6.下载器中间件（Downloader Middlewares）：指在引擎及下载器之间的特定钩子（specific hook），处理Downloader 传递给引擎的response。它提供一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
7.Spiders中间件（Spider Middlewares）:指在引擎及Spider之间的特定钩子（specific hook），处理Spider 的输入（response）和输出（items及requests）。它提供一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
1.引擎向spider要URL
2.引擎将要爬取的URL给调度器
3.调度器会将URL生成请求对象放入指定的队列中
4.从队列中出队一个请求
5.引擎将请求交给下载器进行处理
6.下载器发送请求获取互联网数据
7.下载器将数据返回给引擎
8.引擎将数据再次给到spiders
9.spiders通过xpath解析该数据，得到数据或URL
10.spiders将数据或URL给到引擎
11.引擎判断该数据是URL还是数据，交给管道处理，URL交给调度器处理
12.当调度器里没有任何数据之后，整个程序停止
下面是我根据工作原理画的可以结合去看：
感谢各位的阅读，以上就是“Python的Scrapy框架知识点有哪些”的内容了，经过本文的学习后，相信大家对Python的Scrapy框架知识点有哪些这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
