今天小编给大家分享一下如何用python爬取某东评论的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。
import requestsimport jsonimport osimport timeimport randomimport jiebafrom wordcloud import WordCloudfrom imageio import imreadcomment_file_path = 'jd_comments.txt'def get_spider_comments(page = 0): #爬取某东评论 url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv7990&productId=1070129528&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&rid=0&fold=1'%page headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36', 'referer':'https://item.jd.com/1070129528.html' } try: response = requests.get(url, headers = headers) except: print("something wrong!") #获取json格式数据集 comments_json = response.text[26:-2] #将json数据集转为json对象 comments_json_obj = json.loads(comments_json) #获取comments里面的所有内容 comments_all = comments_json_obj['comments'] #获取comments中评论content的内容 for comment in comments_all: with open(comment_file_path,'a+' ,encoding='utf-8') as fin: fin.write(comment['content']+'\n') print(comment['content'])def batch_spider_comments(): # 每次写入数据之前先清空文件 if os.path.exists(comment_file_path): os.remove(comment_file_path) for i in range(100): print('正在爬取'+str(i+1)+'页数据。。。。') get_spider_comments(i) time.sleep(random.random()*5)def cut_word(): with open(comment_file_path,encoding='utf-8')as file: comment_text = file.read() wordlist = jieba.lcut_for_search(comment_text) new_wordlist = ' '.join(wordlist) return new_wordlistdef create_word_cloud(): mask = imread('ball.jpg') wordcloud = WordCloud(font_path='msyh.ttc',mask = mask).generate(cut_word()) wordcloud.to_file('picture.png')if __name__ == '__main__': create_word_cloud()
以上就是“如何用python爬取某东评论”这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注亿速云行业资讯频道。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/u/3742960/blog/4461410