这篇文章给大家分享的是有关Python爬虫之批量下载喜马拉雅音频的方法的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
在喜马拉雅网站上,随便点开一个音频,打开“开发者工具”,再点击播放按钮,可以看到出现了多个请求:
经过排查,发现可疑url:
查看它的响应信息,发现音频地址就在里面:
接下来,解析这个返回音频地址的url:
https://www.ximalaya.com/revision/play/v1/audio?id=348451879&ptype=1
发现url中的id参数就决定了返回的音频地址,而id参数是音频的id号。
我们已经知道了获取音频url的网址,接下来要获取一个专栏内的音频id和名称,打开一个专栏,发现:
所有的音频存放在class为1F_的li标签中,再来解析li标签:
在li标签中的第一个a标签存储着我们所有需要的数据,妙~啊!
思路:
1.获取专栏内的li标签
2.获取li标签里的第一个a标签
3.读取a标签的title和href属性
4.将href解析成音频id
5.将id带入url请求音频源地址
6.提取音频源地址
7.请求音频源地址
8.保存音频(文件名为a的title属性)
思路整理完了,开始编写代码。
代码奉上——
import requests from fake_useragent import UserAgent as ua from bs4 import BeautifulSoup as bs # 专栏地址 music_list_url = 'https://www.ximalaya.com/ertongjiaoyu/19702607/' # 获取音频地址的url get_link_url = "https://www.ximalaya.com/revision/play/v1/audio" # UA伪装 headers = { "User-Agent": ua().random } # 参数 params = { "id": None, # id先设为None "ptype": "1", } # 获取专栏HTML源码 music_list_r = requests.get(music_list_url, headers=headers) # 解析 获取所有li标签 soup = bs(music_list_r.text, "lxml") li = soup.find_all("li", {"class": "lF_"}) # for循序遍历处理 for i in li: a = i.find("a") # 找到a标签 # 获取href属性 # split("/")将字符串以"/"作为分隔符 从右往左数第一项是id号 music_id = a.get("href").split("/")[-1] # 获取title属性 和“.m4a”拼接成文件名 music_name = a.get("title") + ".m4a" # 修改请求参数id params['id'] = music_id # 获得音频源地址 r = requests.get(get_link_url, headers=headers, params=params) link = r.json()['data']['src'] # 获取音频文件并保存 music_file = requests.get(link).content with open(music_name, "wb") as f: f.write(music_file) print("下载完毕!")
运行代码,等待亿会(真的要等亿会),可以看到当前目录下已经出现了音频文件,如图:
感谢各位的阅读!关于“Python爬虫之批量下载喜马拉雅音频的方法”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
python的五大特点:1.简单易学,开发程序时,专注的是解决问题,而不是搞明白语言本身。2.面向对象,与其他主要的语言如C++和Java相比, Python以一种非常强大又简单的方式实现面向对象编程。3.可移植性,Python程序无需修改就可以在各种平台上运行。4.解释性,Python语言写的程序不需要编译成二进制代码,可以直接从源代码运行程序。5.开源,Python是 FLOSS(自由/开放源码软件)之一。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。