URL编码与解码(使用 Python3 urllib.parse) 与 贴吧小爬虫案例

一．parse.urlencode() 与parse.unquote()

urllib 和urllib.request都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：

1.urllib 仅可以接受URL，不能创建 设置了headers 的Request 类实例；

2.但是 urllib 提供 urlencode 方法用来GET查询字符串的产生，而urllib.request 则没有。（这是 urllib 和urllib.request 经常一起使用的主要原因）

3.编码工作使用urllib的parse.urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的parse.unquote()函数。

一般HTTP请求提交数据，需要编码成 URL编码格式，然后做为url的一部分，或者作为参数传到Request对象中。

例子：

from urllib import parse                     # 导入parse模块
import urllib.request                          # 导入request模块

url = 'https://www.baidu.com/s?'       # 定义一个字典
wd = {"wd": "温故知新"}
pw = parse.urlencode(wd)                # urlencode() 接受的参数是一个字典
print(pw)

wd1 = {"wd1": "温"}                          # urlencode() 接受的参数是一个字典
pw1 = parse.urlencode(wd1)
print(pw1)

wd2 = {"wd2": "故"}
pw2 = parse.urlencode(wd2)
print(pw2)

wd3 = {"wd3": "知"}
pw3 = parse.urlencode(wd3)
print(pw3)

wd4 = {"wd4": "新"}
pw4 = parse.urlencode(wd4)
print(pw4)

print(parse.unquote(pw))                # 通过parse.unquote()方法进行解码，把 URL编码字符串，转换回原先字符串。

Get方式，urllib库与urllib.request库的结合应用

一：贴吧小爬虫案例

__author__ = 'ALunr'
# date: 2019/5/3
from urllib import parse
import urllib.request

# 写一个爬取网页的函数loadPage
def loadPage(url, filename):
    '''
        作用：根据url发送请求，获取服务器响应文件
        url：需要爬取的url地址
        filename: 处理的文件名
    '''
    print("正在下载" + filename)
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
        }

    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request)
    return response.read()

# 将爬取到了每页的信息存储在本地磁盘上，简单写一个存储文件的接口。
def writeFile(html, filename):
    """
        作用：保存服务器响应文件到本地磁盘文件里
        html: 服务器响应文件
        filename: 本地磁盘文件名
    """
    print("正在存储" + filename)
    with open(filename, 'w') as f:
        f.write(html)
    print("-" * 20)

# 写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口， 
#一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
    """
        作用：负责处理url，分配每个url去发送请求
        url：需要处理的第一个url
        beginPage: 爬虫执行的起始页面
        endPage: 爬虫执行的截止页面
    """
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        filename = "第" + str(page) + "页.html"

        fullurl = url + "&pn=" + str(pn)                            # 组合为完整的 url，并且pn值每次增加50
        print(fullurl)
        print(filename)

        html = loadPage(fullurl, filename)                     # 调用loadPage()发送请求获取HTML页面
        writeFile(html, filename)                                   # 将获取到的HTML页面写入本地磁盘文件

    # 先写一个main，提示用户输入要爬取的贴吧名，并用parse.urlencode()
    # 进行转码，然后组合url，假设是lol吧，那么组合后的url就是：http: // tieba.baidu.com / f?kw = lol
# 模拟 main 函数
if __name__ == "__main__":
    kw = input("请输入需要爬取的贴吧:")
    # 输入起始页和终止页，str转成int类型
    beginPage = int(input("请输入起始页："))
    endPage = int(input("请输入终止页："))

    url = "http://tieba.baidu.com/f?"
    key = parse.urlencode({"kw": kw})
    url = url + key
    print(url)                                                               # 组合后的url示例：http://tieba.baidu.com/f?kw=lol
    tiebaSpider(url, beginPage, endPage)