这篇文章主要介绍python分布式爬虫中的scrapy-redis是不是属于新框架，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
安装：
pip install scrapy-redis
scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：
请求对象的持久化
去重的持久化
实现分布式
scrapy-redis只是替换了redis的几个组件，不是一个新的框架。
scrapy_redis的流程
在scrapy_redis中，所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中
所有的服务器共用一个redis中的request对象
所有的request对象存入redis前，都会在同一个redis中进行判断，之前是否已经存入过
在默认情况下所有的数据会保存在redis中
以上是“python分布式爬虫中的scrapy-redis是不是属于新框架”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
