这篇文章给大家分享的是有关python如何爬取美团网站街道信息的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
目前还在写代码中，模拟登陆，所以在慢慢更新
接着上一次的代码，接下来就是关于爬取区县以及街道的信息
有了上一次的省市信息，从数据库中拿出市一级的信息，根据美团的请求的url，发现只需要拼音的简写，就可以组成新的url去访问
依据此，去爬取数据
先去从数据库中获取数据，直接的截图，返回的是一个生成器，生成器的知识自己去了解，返回的是城市的id，及它的拼音简写
接下来就是拼接url，发送请求，获取区县数据，源码的一部分
重新拼接好的url放入列表中，重写start_requests方法，使用request.meta方法传递附加的数据，该方法可以传递任何数据，使用response获取传递的数据
接下来就是将所需要数据解析出来，根据items中定义的，去保存数据，通过管道将其保存到数据库中，下图中的数据是从数据中导出来的，区县的数据（3092）
街道的数据（20593）
感谢各位的阅读！关于“python如何爬取美团网站街道信息”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
