温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Python如何爬取笑话大全

发布时间:2021-10-14 17:21:57 来源:亿速云 阅读:116 作者:小新 栏目:大数据

小编给大家分享一下Python如何爬取笑话大全,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

代码

import request
from bs4 import BeautifulSoup

headers={
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3775.400 QQBrowser/10.6.4208.400'
} #请求头,爬虫伪装
for i in range(0,100):
    url = 'http://xiaohua.zol.com.cn/detail15/{}.html'.format(i) #爬虫目标网站
    html = request.get(url, headers=headers) #请求后返回的源代码
    # html.encoding = 'utf-8'
    soup = BeautifulSoup(html.text, 'lxml')  #对源代码进行解析
    if html.status_code==200:
        # 访问成功
        title = soup.select(".article-title")[0].text.replace(' ', '')
        content = soup.select(".article-text")[0].text.replace(' ', '')
        with open('D:/xh.txt', 'a',encoding='utf-8') as f:   #保存文件在D:/xh.txt文件中
            f.write(title)
            f.write(content)
            f.write('\n\n')
            f.close()
        print(title, content)
    else:
        #访问失败
        continue

以上是“Python如何爬取笑话大全”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI