温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

cookie怎么在python爬虫中响应网页

发布时间:2020-12-01 09:10:25 来源:亿速云 阅读:130 作者:小新 栏目:编程语言

小编给大家分享一下cookie怎么在python爬虫中响应网页,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)

比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie,然后再抓取其他页面就达到目的了。

从响应中获取cookie

我们就可以先访问该站的某个页,建立了session连接之后,获取cookie,再伪造头进行访问。

>>> from bs4Test import *
>>> s = requests.session()
>>> s.get("https://www.gebiz.gov.sg/ptn/opportunity/BOListing.xhtml?origin=menu")
>>> print(s.cookies)
# 下面是打印结果
, http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>

最后拼接cookie串

cook_value = ''
for x in cook:
    cook_value += x.name + '=' + x.value + ';'
cook_value = cook_value[:len(cook_value)-1]
print(cook_value)
#打印结果
__cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045

看完了这篇文章,相信你对cookie怎么在python爬虫中响应网页有了一定的了解,想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI