这篇文章主要介绍了Python如何实现短视频爬虫,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
网站地址在代码里面,大家用心一下就能看到了。
使用的软件
python 3.8 pycharm 2021.2
模块
requests parsel re concurrent.futures time warnings
不会安装模块看这篇:python模块的安装以及安装失败的解决方法
知道你们不想看那些步骤,我直接上代码吧
import requests import parsel import re import concurrent.futures import time import warnings # 取消警告 warnings.filterwarnings("ignore") def get_html(url): """发送请求获取网页源代码""" html_data = requests.get(url=url, verify=False).text return html_data def parse_data_1(html_data): """第一次解析, 拿到所有的详情页链接""" selector = parsel.Selector(html_data) url_list = selector.xpath('//a[@class="meta-title"]/@href').getall() return url_list def parse_data_2(html_data): """第二次解析, 获取视频链接""" video_url = re.findall('url: "(.*?)",', html_data)[0] return video_url def save(video_url): """保存视频""" title = video_url.split('/')[-1] # 取链接当中的字段作为标题 video_data = requests.get(video_url, verify=False).content # 发送网络请求 with open(f'video/{title}', mode='wb') as f: f.write(video_data) print(title, "爬取成功!!!") start_time = time.time() url = 'https://www.520mmtv.com/hd/rewu.html' # 1. 向目标网站发送请求 html_data = get_html(url=url) # 2. 第一次解析数据 提取详情页链接 url_list = parse_data_1(html_data=html_data) for info_url in url_list[:10]: # 3. 向详情页发送请求 html_data_2 = get_html(url=info_url) # 4. 第二次解析数据 提取视频播放地址 video_url = parse_data_2(html_data=html_data_2) # 5. 保存视频 save(video_url=video_url) print('花费时间:', time.time() - start_time)
感谢你能够认真阅读完这篇文章,希望小编分享的“Python如何实现短视频爬虫”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。