温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何用Python爬取了三大相亲软件评论区

发布时间:2021-10-26 09:54:21 阅读:178 作者:柒染 栏目:大数据
Python开发者专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

本篇文章为大家展示了如何用Python爬取了三大相亲软件评论区,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

小三:怎么了小二?一副愁眉苦脸的样子。
小二:唉!这不是快过年了吗,家里又催相亲了 ...
小三:现在不是流行网恋吗,你可以试试相亲软件呀。
小二:这玩意靠谱吗?

小三:我也没用过,你自己看看软件评论区吧。

小二:这 ... 不过也只能先到评论区看看了。

以 360 手机助手为例,地址为:http://zhushou.360.cn/,相亲软件选择 3 个比较流行的,分别为:世纪佳缘、百合婚恋、有缘网,我们使用 Python 爬取软件评论区,看看用户评价情况。

先来看一下这三款软件的下载量和好中差评占比情况(下图单位为万次)。

如何用Python爬取了三大相亲软件评论区

如何用Python爬取了三大相亲软件评论区

如何用Python爬取了三大相亲软件评论区

如何用Python爬取了三大相亲软件评论区

下面开始爬取评论区,以世纪佳缘为例,首先,在搜索框输入世纪佳缘进行搜索,如图所示:

如何用Python爬取了三大相亲软件评论区

接着,点击搜索到的软件进入其详情页,如图所示:

如何用Python爬取了三大相亲软件评论区

将页面向下拉就可以看到评论区了,如图所示:

如何用Python爬取了三大相亲软件评论区

此时打开开发者工具并选择Network项,点击查看更多评论,然后可以看到getComments请求,如图所示:

如何用Python爬取了三大相亲软件评论区

通过这个请求我们就可以动态获取评论区数据了,其中参数star为开始的评论索引,参数count为每次加载的评论个数,可以通过参数callbackbaike指定不同应用,爬取代码实现如下:

headers = {    "Accept""*/*",    "Accept-Encoding""gzip, deflate, sdch",    "Accept-Language""zh-CN,zh;q=0.8",    "Connection""keep-alive",    "Host""comment.mobilem.360.cn",    "User-Agent""Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"}def comment_spider(param, file_name):    base_url = "http://comment.mobilem.360.cn/comment/getComments?c=message&a=getmessage&&count=50"    start = 0    for i in range(150):        print("第{}页".format(i))        url = base_url + param + "&start=" + str(start)        r = requests.get(url, headers=headers)        data = re.findall("{\"errno\"(.*)\);}catch\(e\){}", r.text)        # 转为 Json 格式        jdata = json.loads("{\"errno\"" + data[0])        for message in jdata["data"]["messages"]:            content = message["content"]            print(content)            with open(file_name + ".txt""a", encoding="utf-8"as f:                f.write(content)        start = start + 50        time.sleep(2)
 

我们将爬取的评论数据存到了 txt 文件中。

接着,我们将评论数据进行词云展示,代码实现如下:

with open("yy.txt""r", encoding="utf-8"as f:    content = f.read()    stylecloud.gen_stylecloud(text=content, max_words=600,                              collocations=False,                              font_path="SIMLI.TTF",                              icon_name="fas fa-heart",                              size=800,                              output_name="yy.png")    Image(filename="yy.png")
 

最后,通过词云看一下用户对上述软件的评价情况。

世纪佳缘:

如何用Python爬取了三大相亲软件评论区

百合婚恋:

如何用Python爬取了三大相亲软件评论区

有缘网:

如何用Python爬取了三大相亲软件评论区

小二:看了有缘网的评论,我感觉自己和相亲软件无缘 ...

小三:...

上述内容就是如何用Python爬取了三大相亲软件评论区,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/ityard/blog/4777670

AI

开发者交流群×