小编给大家分享一下Python3对urllib和urllib2进行重构的方法,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!
python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response, urllib.parse, urllib.error等几个子模块,这样的架构从逻辑和结构上说更加合理。urllib库无需安装,python3自带。python 3.x中将urllib库和urilib2库合并成了urllib库。 其中
urllib2.urlopen() 变成了 urllib.request.urlopen()
urllib2.Request() 变成了 urllib.request.Request()
python2中的 cookielib 改为 http.cookiejar.
import http.cookiejar 代替 import cookielib
urljoin 现在对应的函数是 urllib.parse.urljoin
代码如下
import urllib.request import http.cookiejar url ="http://www.baidu.com" print ('第一种方法') response1=urllib.request.urlopen(url) print (response1.getcode()) print (len(response1.read())) print ('第二种方法') request=urllib.request.Request(url) request.add_header("user-agent","Mozilla/5.0")#将爬虫伪装成浏览器 response2=urllib.request.urlopen(request) print (response2.getcode())#打印状态码 print (len(response2.read()))#打印内容长度 print ('第三种方法') cj = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) urllib.request.install_opener(opener) response3=urllib.request.urlopen(url) print (response1.getcode()) print (cj) #输出cookie print (response1.read())
看完了这篇文章,相信你对“Python3对urllib和urllib2进行重构的方法”有了一定的了解,如果想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。