Python爬虫错误处理怎样做

在Python中，进行网络爬虫的错误处理是非常重要的，因为它可以帮助你应对网络请求失败、解析错误或其他潜在的问题。以下是一些常见的错误处理方法：

1. 使用 try-except 块

这是最基本的错误处理方法，可以捕获并处理异常。

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'

try:
    response = requests.get(url)
    response.raise_for_status()  # 检查HTTP响应状态码
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.RequestException as e:
    print(f"网络请求错误: {e}")
except Exception as e:
    print(f"其他错误: {e}")

2. 使用 requests 的 timeout 参数

设置请求超时可以避免程序在网络问题中无限期等待。

try:
    response = requests.get(url, timeout=10)  # 设置10秒超时
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.Timeout as e:
    print(f"请求超时: {e}")
except requests.exceptions.RequestException as e:
    print(f"网络请求错误: {e}")
except Exception as e:
    print(f"其他错误: {e}")

3. 使用 logging 模块

记录错误日志可以帮助你更好地调试和分析问题。

import logging
import requests
from bs4 import BeautifulSoup

logging.basicConfig(filename='crawler.log', level=logging.ERROR)

url = 'http://example.com'

try:
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.RequestException as e:
    logging.error(f"网络请求错误: {e}")
except Exception as e:
    logging.error(f"其他错误: {e}")

4. 使用 retry 库

retry 库可以帮助你自动重试失败的请求。

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
import requests
from bs4 import BeautifulSoup

url = 'http://example.com'

retry_strategy = Retry(
    total=3,
    status_forcelist=[429, 500, 502, 503, 504],
    method_whitelist=["HEAD", "GET", "OPTIONS"],
    backoff_factor=1
)
adapter = HTTPAdapter(max_retries=retry_strategy)
http = requests.Session()
http.mount("https://", adapter)
http.mount("http://", adapter)

try:
    response = http.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.RequestException as e:
    print(f"网络请求错误: {e}")
except Exception as e:
    print(f"其他错误: {e}")

5. 处理解析错误

使用 BeautifulSoup 解析 HTML 时，可能会遇到格式错误或其他问题。可以使用 try-except 块来捕获这些错误。

try:
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except Exception as e:
    print(f"解析错误: {e}")

通过结合这些方法，你可以构建一个健壮的爬虫，能够有效地处理各种潜在的错误。