温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

小说网站爬虫

发布时间:2020-05-24 16:08:38 来源:网络 阅读:1066 作者:wodeshijiecn 栏目:网络安全

小说网站爬虫第一天

从今天开始,学习一下爬虫的知识,爬取小说网站。

第一天:

网站:http://www.bxwx9.org

小说:大主宰

小说网站爬虫

语言:IDEA+java

jar包:maven工程,所以放上dependencies,每一个jar包的作用大家去研究一下小说网站爬虫

项目结构:

小说网站爬虫

需求:获取小说的章节列表中的标题和URL

原理:

  • 用谷歌浏览器F12查看网页的内容,找到章节列表所在的元素

    小说网站爬虫

  • 使用标签选择器来选择需要的内容

    小说网站爬虫

    代码如下操作:

    小说网站爬虫

    中文乱码的解决:

    小说网站爬虫

运行的效果图:

小说网站爬虫

明天继续!!!!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI