温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

python如何爬取美团网站店铺信息

发布时间:2022-01-13 15:07:43 来源:亿速云 阅读:207 作者:小新 栏目:大数据

这篇文章主要介绍python如何爬取美团网站店铺信息,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

已经获取到街道和区县的信息,然后就是关于每个街道下的店铺信息,分析页面

python如何爬取美团网站店铺信息

目前就是获取它的这些信息,然后继续保存在数据库中

按F12,F5刷新,分析响应的数据,

python如何爬取美团网站店铺信息

下图就是response中响应的数据,分析找出所需的数据

python如何爬取美团网站店铺信息

python如何爬取美团网站店铺信息

从数据库中获取街道的url,去访问,分析响应的数据,取出script中的数据。response中响应的数据可以先写成HTML,然后再工具中格式化代码,这样就比较清晰,容易分析(图是详细信息,不是店铺的简要信息)

python如何爬取美团网站店铺信息

python如何爬取美团网站店铺信息

保存数据,数据放到item中,scrapy框架会自动通过管道py文件,将数据保存返回一个生成器

python如何爬取美团网站店铺信息

判断是否有下一页,美团中 的数据,一页的数据是32条,

python如何爬取美团网站店铺信息

如果有下一页则重新拼接url,在script中能取出当前页,从第二页开始的url就需要每次在request.meta参数保存最初的url

python如何爬取美团网站店铺信息

拼接之后继续发送请求,下载数据

python如何爬取美团网站店铺信息

以上是“python如何爬取美团网站店铺信息”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI