Python urllib库如何实现添加headers?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
方法一:借助build_opener和addheaders完成
import urllib.request url="http://www.meizitu.com" #注意:在urllib 中headers是元组 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE") opener=urllib.request.build_opener() opener.addheaders=[headers] data=opener.open(url) print(data.read())
注意:此处的headers要写为一个元组类型才可以。写为字典类型的话会报错!
方法二、创建一个Request实例对象
# 案例1 import urllib.request url="http://www.meizitu.com" #注意:在urllib 中这种的headers 是需要是字典的 headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"} req=urllib.request.Request(url=url,headers=headers) file=urllib.request.urlopen(req) #出现有些解码错误的话,加上“ignore”就可以啦 print(file.read().decode("utf-8",'ignore'))
注意:此处的headers要写为一个字典类型才可以。
创建一个Reques对象,把需要的headers,url,proxy 都放进去,或者在post 请求中还可以把编码过后的data 值放进去,再用urlopen 打开,就比较方便了。
另外,这种方法还可以用add_headers()来添加headers,代码如下:
import urllib.request try: url="http://www.meizitu.com" req=urllib.request.Request(url=url) req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE") file=urllib.request.urlopen(req,timeout=10.1) print(file.read().decode("utf-8",'ignore')) except Exception as e: print("时间超时",str(e))
看完上述内容,你们掌握Python urllib库如何实现添加headers的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。