scrapy startproject project_name
在spiders目录下创建一个新的爬虫文件，编写爬虫代码，可以使用scrapy genspider命令快速生成爬虫模板。
使用命令行工具运行已经编写好的爬虫：
scrapy crawl spider_name
使用Item和ItemLoader来处理爬取的数据，使用middlewares和pipelines来处理请求和响应，将业务逻辑分离出来，使代码更加清晰简洁。
CrawlSpider：如果需要实现基于规则的爬取，可以使用CrawlSpider类，简化爬虫代码的编写。
scrapy shell：使用scrapy shell命令可以快速测试和调试XPath或CSS选择器，加快开发速度。
通过修改settings.py文件，可以对Scrapy框架进行各种配置，如设置请求头、延迟时间、并发数等，简化操作。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
