这篇文章主要介绍了Python如何实现短视频爬虫，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
网站地址在代码里面，大家用心一下就能看到了。
使用的软件
计算
安全
数据库
网络和加速
企业服务
python 3.8
pycharm 2021.2模块
requests
parsel
re
concurrent.futures
time
warnings不会安装模块看这篇：python模块的安装以及安装失败的解决方法
知道你们不想看那些步骤，我直接上代码吧
import requests
import parsel
import re
import concurrent.futures
import time
import warnings
# 取消警告
warnings.filterwarnings("ignore")
def get_html(url):
"""发送请求获取网页源代码"""
html_data = requests.get(url=url, verify=False).text
return html_data
def parse_data_1(html_data):
"""第一次解析, 拿到所有的详情页链接"""
selector = parsel.Selector(html_data)
url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()
return url_list
def parse_data_2(html_data):
"""第二次解析, 获取视频链接"""
video_url = re.findall('url: "(.*?)",', html_data)[0]
return video_url
def save(video_url):
"""保存视频"""
title = video_url.split('/')[-1] # 取链接当中的字段作为标题
video_data = requests.get(video_url, verify=False).content # 发送网络请求
with open(f'video/{title}', mode='wb') as f:
f.write(video_data)
print(title, "爬取成功!!!")
start_time = time.time()
url = 'https://www.520mmtv.com/hd/rewu.html'
# 1. 向目标网站发送请求
html_data = get_html(url=url)
# 2. 第一次解析数据 提取详情页链接
url_list = parse_data_1(html_data=html_data)
for info_url in url_list[:10]:
# 3. 向详情页发送请求
html_data_2 = get_html(url=info_url)
# 4. 第二次解析数据 提取视频播放地址
video_url = parse_data_2(html_data=html_data_2)
# 5. 保存视频
save(video_url=video_url)
print('花费时间：', time.time() - start_time)感谢你能够认真阅读完这篇文章，希望小编分享的“Python如何实现短视频爬虫”这篇文章对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，更多相关知识等着你来学习!
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
