在Python的requests库中,处理重定向非常简单。默认情况下,requests会自动处理重定向,你不需要执行任何特殊操作。当遇到HTTP重定向时(例如,从HTTP到HTTPS),requests会自动跳转到新的URL并获取响应。
以下是一个简单的示例,展示了如何使用requests库爬取一个可能发生重定向的网站:
import requests
url = 'http://example.com' # 这个URL可能会发生重定向
response = requests.get(url)
print(response.url) # 输出最终的URL,可能是重定向后的URL
print(response.status_code) # 输出HTTP状态码,200表示成功,3xx表示重定向
在这个例子中,如果http://example.com
发生重定向,requests会自动处理并跳转到新的URL。你可以通过response.url
获取最终的URL,通过response.status_code
检查HTTP状态码(例如,301表示永久重定向,302表示临时重定向)。
如果你想要自定义处理重定向的行为,可以使用requests.Session()
对象并设置allow_redirects
参数。例如,以下代码将禁用自动重定向处理:
import requests
session = requests.Session()
session.max_redirects = 0
url = 'http://example.com' # 这个URL可能会发生重定向
response = session.get(url)
print(response.url) # 输出原始的URL,不会发生重定向
print(response.status_code) # 输出HTTP状态码,可能是3xx表示重定向
请注意,禁用自动重定向处理可能会导致请求失败,因为请求不会自动跳转到新的URL。在这种情况下,你需要手动检查和处理重定向。