温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Python如何搭建爬虫程序

发布时间:2021-09-13 09:51:20 来源:亿速云 阅读:165 作者:柒染 栏目:编程语言

这期内容当中小编将会给大家带来有关Python如何搭建爬虫程序,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

      开发工具

Python版本:3.6.4

相关模块:

scrapy模块;

pyecharts==1.5.1模块;

wordcloud模块;

jieba模块;

以及一些python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

数据爬取

先随手推一波自己开源的利用requests进行模拟登录的库:

https://github.com/CharlesPikachu/DecryptLogin

目前该库支持模拟登录的网站包括:

1\. 微博

后续会不断添加和完善该库的功能以及该库相关的一些小应用。当然,今天是用不上了,因为我发现他喵的知乎的粉丝数据竟然一直是一个裸的API,即使是改版之后,也不需要验证什么登录后的cookies之类的东西直接就能抓取到了。

言归正传,简单说说这个数据怎么抓取吧,其实很简单,F12打开开发者工具,刷新一下关注者页面,就可以发现:

Python如何搭建爬虫程序    

请求这个接口直接就能返回目标用户的粉丝数据了,接口的组成形式为:

https://www.zhihu.com/api/v4/members/{用户域名}/followers?

没有什么特别需要注意的地方,不用怀疑,就是这么简单,scrapy新建一个项目爬就完事了:

scrapy startproject zhihuFansSpider

定义一下items:

class ZhihufansspiderItem(scrapy.Item):

然后新建并写一个爬虫主程序就OK啦:

'''知乎粉丝小爬虫'''

运行以下命令开始爬取目标用户的粉丝数据:

scrapy crawl zhihuFansSpider -o followers_info.json -t json

    数据可视化

老规矩,可视化一下爬到数据呗(这里就以我自己知乎账号的关注者数据为例好了T_T)。

先画个粉丝主页标题的词云压压惊?

![https://upload-images.jianshu.io/upload_images/2539976-ada286149ecb2285?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

上述就是小编为大家分享的Python如何搭建爬虫程序了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注亿速云行业资讯频道。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI