在Python的urllib库中,你可以使用urllib.request.Request
对象来设置请求头。以下是一个简单的示例:
import urllib.request
import urllib.error
url = "https://www.example.com"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "en-US,en;q=0.5",
}
req = urllib.request.Request(url, headers=headers)
try:
response = urllib.request.urlopen(req)
html = response.read()
print(html)
except urllib.error.URLError as e:
print(e.reason)
在这个示例中,我们首先导入了urllib.request
和urllib.error
模块。然后,我们定义了要爬取的URL和请求头。请求头是一个字典,其中包含了我们想要设置的各种HTTP头部信息。
接下来,我们使用urllib.request.Request
对象创建了一个请求,并将URL和请求头作为参数传递给它。最后,我们使用urllib.request.urlopen()
函数打开请求并读取响应内容。如果请求成功,我们将打印出响应的HTML内容。如果发生错误,我们将捕获URLError
异常并打印出错误原因。