Python爬虫入门之 urllib库

　　一、urllib库：模拟浏览器发送请求的库，python自带，无需安装;

　　二、Python2和Python3的urllib库的区别：

　　1. urllib是python提供的一个用于操作url的模块。

　　2. 在python2中，有urllib库和urllib2库，在python3中，urllib2合并到urllib库中,我们爬取网页的时候，经常用到这个库，升级合并后，模块中包的位置变化的地方较多。

　　3. 区别：

　　在python2中使用import urllib2————对应的，在python3中会使用import urllib.request,urllib.error;

　　在python2中使用import urllib————对应的，在python3中会使用import urllib.request,urllib.error,urllib.parse;

　　在python2中使用import urlparse————对应的，在python3中会使用import urllib.parse;

　　在python2中使用urllib2.urlopen————对应的，在python3中会使用urllib.request.urlopen;

　　在python2中使用urllib.urlencode————对应的，在python3中会使用urllib.parse.urlencode;

　　在python2中使用urllib.quote————对应的，在python3中会使用urllib.request.quote;

　　在python2中使用cookielib.CookieJar————对应的，在python3中会使用http.CookieJar;

　　在python2中使用urllib2.Request————对应的，在python3中会使用urllib.request.Request

　　以上就是urllib相关模块从python2到python3的常见一些变化

　　三、urllib两个常用模块：urllib.request，urllib.parse

　　1. urllib.request.urlopen(url, data=None, proxies=None)：它可以创建一个表示远程url的类文件对象，然后我们可以像对本地文件一样，用同样的方法去操作这个类文件对象以此获取远程数据。

　　import urllib.request

　　url = "https://www.baidu.com/"

　　# response：是一个文件

　　response = urllib.request.urlopen(url=url)

　　print(response.read().decode())

　　返回结果===》

　　url：远程数据的路径，一般是网址;

　　data：以post方式提交到url的数据，如果要传必须传 bytes(字节流)类型的，如果是一个字典，可以先用 urllib.parse 模块里的 urlencode() 编码;

　　proxies用于设置代理;

　　1. urlopen返回 一个类文件对象(fd)，它提供了如下方法：

　　(I)read()：读取相应内容，内容是字节类型;

　　(II)geturl()：获取请求的url

　　示例：

　　print(response.geturl())

　　结果：

　　https://www.baidu.com/

　　(III)getheaders()：获取头部信息，列表里面有元组

　　示例：

　　print(response.getheaders())

　　结果：

　　[('Accept-Ranges', 'bytes'), ('Cache-Control', 'no-cache'), ('Content-Length', '227'), ('Content-Type', 'text/html'), ('Date', 'Sat, 30 Nov 2019 15:32:47 GMT'), ('P3p', 'CP=" OTI DSP COR IVA OUR IND COM "'), ('P3p', 'CP=" OTI DSP COR IVA OUR IND COM "'), ('Pragma', 'no-cache'), ('Server', 'BWS/1.1'), ('Set-Cookie', 'BD_NOT_HTTPS=1; path=/; Max-Age=300'), ('Set-Cookie', 'BIDUPSID=52DFB72BEBE10DAD15531561E0516914; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com'), ('Set-Cookie', 'PSTM=1575127967; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com'), ('Set-Cookie', 'BAIDUID=52DFB72BEBE10DADB9398376B7470E3A:FG=1; max-age=31536000; expires=Sun, 29-Nov-20 15:32:47 GMT; domain=.baidu.com; path=/; version=1; comment=bd'), ('Strict-Transport-Security', 'max-age=0'), ('Traceid', '1575127967028891188210707054848444292954'), ('X-Ua-Compatible', 'IE=Edge,chrome=1'), ('Connection', 'close')]

　　(IV)getcode()：获取状态码

　　示例：

　　print(response.getcode())

　　结果：

　　200

　　(V)readlines()：按行读取，返回列表，都是字节类型

　　示例：

　　print(response.readlines())

　　结果：

　　[b'\r\n', b'\r\n', b'\t\r\n', b'\r\n', b'\r\n', b'\t\r\n', b'\r\n', b'']

　　注释：“\b”在Python中表示二进制

　　【注意】像1和5这种返回是“字节类型(二进制)”都要进行解码才能显示出来

　　2. urllib.request.Request(url, headers, data)：参数和urllib.request.urlopen()函数一样，一个请求不仅仅只有url，还要有Headers等信息，这时我们把Request()用于包装请求头，返回一个请求头，可以作为urllib.request.urlopen()的参数。

　　示例：郑州人流医院 http://mobile.zzzzyy120.com/

　　import urllib.request

　　headers = {

　　'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '

　　'AppleWebKit/537.36 (KHTML, like Ge'

　　'cko) Chrome/71.0.3578.98 Safari/537.36'

　　}

　　url = "https://www.baidu.com/"

　　request = urllib.request.Request(url=url, headers=headers)

　　response = urllib.request.urlopen(request)

　　print(response.getcode())

　　结果：

　　200

　　3. urllib.parse.quote()：url编码函数，将中文进行转化为%xxx

　　示例：

　　import urllib.parse

　　url = "小编是大帅哥!"

　　result = urllib.parse.quote(url)

　　print(result)

　　结果：

　　%E5%B0%8F%E7%BC%96%E6%98%AF%E5%A4%A7%E5%B8%85%E5%93%A5%EF%BC%81

　　4. urllib.parse.unquote()：url解码函数，将%xxx进行转化为中文

　　示例：

　　import urllib.parse

　　string = "%E5%B0%8F%E7%BC%96%E6%98%AF%E5%A4%A7%E5%B8%85%E5%93%A5%EF%BC%81"

　　result = urllib.parse.unquote(string)

　　print(result)

　　结果：

　　小编是大帅哥!

　　5. urllib.parse.urlencode()：给一个字典，将字典拼接为query_string，并且实现了编码的功能

　　示例：

　　import urllib.parse

　　data = {

　　'name': 'Alien',

　　'age': '20',

　　'address': 'Chinese'

　　}

　　result = urllib.parse.urlencode(data)

　　print(result)

　　结果：

　　name=Alien&age=20&address=Chinese

　　四、字符串与二进制之间的转换：

　　encode(encoding=None)：字符串 ===》二进制，参数encoding默认是“utf-8”;

　　decode(encoding=Node)：二进制 ===》字符串，参数encoding默认是“utf-8”;

　　要是传encoding的值大多数也是“gbk”

　　Python打开文件时也有编码设置

　　open("文件名", "w", encoding='utf8')