在使用Python的requests库进行网络请求时,可能会遇到各种错误,例如网络连接问题、超时、HTTP错误等。为了确保程序的健壮性,我们需要对这些潜在的错误进行处理。以下是一些建议:
使用try-except
语句捕获异常:
在执行网络请求的代码块周围使用try-except
语句,可以捕获到可能发生的异常,并进行相应的处理。
import requests
try:
response = requests.get('https://api.example.com/data', timeout=5)
response.raise_for_status() # 如果响应状态码不是200,将抛出HTTPError异常
except requests.exceptions.RequestException as e:
print(f"请求发生错误: {e}")
else:
# 处理正常响应的逻辑
pass
使用requests
库的内置函数处理HTTP错误:
requests
库提供了一个名为raise_for_status
的方法,当响应的状态码不是200时,它会抛出一个HTTPError
异常。你可以在except
子句中捕获这个异常,并进行相应的处理。
response = requests.get('https://api.example.com/data', timeout=5)
response.raise_for_status() # 如果响应状态码不是200,将抛出HTTPError异常
设置超时:
在发起网络请求时,可以设置一个超时值,以防止程序在网络延迟或无响应的情况下无限期地等待。这可以通过timeout
参数实现。
response = requests.get('https://api.example.com/data', timeout=5)
检查响应内容:
在处理响应时,除了检查HTTP状态码外,还可以检查响应的内容,以确保请求成功并获得了预期的数据。
if response.status_code == 200:
try:
data = response.json() # 假设响应内容是JSON格式
print(data)
except ValueError as e:
print(f"解析响应内容时发生错误: {e}")
else:
print(f"请求失败,状态码: {response.status_code}")
通过以上方法,你可以对Python requests爬虫中的错误进行处理,提高程序的稳定性和可靠性。