温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么用Python爬虫下载整本小说

发布时间:2021-08-31 17:47:33 阅读:276 作者:chen 栏目:大数据
Python开发者专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

这篇文章主要介绍“怎么用Python爬虫下载整本小说”,在日常操作中,相信很多人在怎么用Python爬虫下载整本小说问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么用Python爬虫下载整本小说”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!


1.首先第一步,导入两个我们需要的包

# 用于获取网页的htmlfrom urllib import request# 用于解析htmlfrom bs4 import BeautifulSoup
  2. 我们来分析一下,我们要抓取的小说页面

怎么用Python爬虫下载整本小说

(广告还挺显眼的)

我们看下这个界面然后再来看看html源码

怎么用Python爬虫下载整本小说

我们会发现,我框住的地方正是我们所需要的地方,但是注意上面的最新章节和我们的正式的小说目录也就是下面的地方,他们都处于<div  class='box1'>中,待会大家可以看看我是怎么处理的。

然后再来看看小说阅读的界面:

怎么用Python爬虫下载整本小说

这个界面就很简单了,我们来看看HTML源码:

怎么用Python爬虫下载整本小说

很容易看到<h2>标签中的正是每一章的标题,<p>标签中的也就是正文

OK,经过我们初步分析,我们可以开始写代码了!

3.首先我们写出获取网页html源码的一个方法:

# 得到网页的htmldef getHtml(url):    url = url    res = request.urlopen(url)    res = res.read().decode()    # print(res)    return res

这个方法传入一个url,会返回一个html源码

4.然后我们再来写一下,获取整本小说所有章节的链接的方法:

# 解析小说章节页面,获取所有章节的子链接def jsoupUrl(html):    # 获取soup对象    url_xiaoshuo = BeautifulSoup(html)    # 因为我们要拿取class为box1中的div    class_dict = {'class': 'box1'}    url_xiaoshuo = url_xiaoshuo.find_all('div', attrs=class_dict)    # 因为分析html中的代码可以发现div的class为box1的有两个,通过上面的代码返回的是一个list格式的结果,所以下面的索引应该是1    # 我们要获取li中的值,所以find_all,这个方法返回的是一个list集合    url_xiaoshuo = url_xiaoshuo[1].find_all('li')    # print(url_xiaoshuo)    # 创建一个集合,用于存放每个章节的链接    url_xs = []    for item in url_xiaoshuo:        # 获取每个元素中的href值        url = item.a['href']        # 将值传入url_xs集合中        url_xs.append(url)    return url_xs

具体的解释,我已经写在注释里了,不懂的可以在公众号后台留言

5.我们获取到每个章节的链接之后,我们就需要把每一章节的内容给弄下来并且把它写入到txt文本而且每个文本的标题为章节的标题

# 解析小说每个章节的的主要内容def jsoupXiaoshuo(list):    for item in list:        html = getHtml(item)        html = BeautifulSoup(html)        # 获取小说标题        title = html.h2.get_text()        xiaoshuo = html.find_all('p')        for item in xiaoshuo:            str = item.get_text()            # open中的第二个参数是让每一次的字符串接连到上一个字符串,千万不能是w            with open(title + '.txt', 'a') as f:                f.write(str+'\n')

6.最后我们再main方法中运行这几个方法即可:

if __name__ == '__main__':    html = getHtml("http://www.136book.com/dadaozhaotian/")    url_xs = jsoupUrl(html)    jsoupXiaoshuo(url_xs)

运行出来的结果:

怎么用Python爬虫下载整本小说

到此,关于“怎么用Python爬虫下载整本小说”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/u/4016785/blog/4564237

AI

开发者交流群×