Python爬虫日志记录技巧

在Python爬虫中，日志记录是一项非常重要的技能，它可以帮助开发者追踪代码执行、排查问题、监控应用运行状况等。以下是Python爬虫日志记录的相关技巧：

基本配置

使用Python内置的logging模块进行基本配置。这包括设置日志级别、格式和输出目的地。

import logging

# 配置日志记录器
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')

# 记录不同级别的日志
logging.debug('这是一个调试信息')
logging.info('这是一个信息提示')
logging.warning('这是一个警告信息')
logging.error('这是一个错误信息')
logging.critical('这是一个严重错误信息')

记录到文件

将日志记录到文件中，以便长期保存和分析。

# 配置日志记录到文件
logging.basicConfig(filename='app.log', level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')

# 记录日志
logging.debug('这是一个调试信息')
logging.info('这是一个信息提示')

使用多个处理器

同时输出日志到控制台和文件，可以使用多个日志处理器。

# 创建日志记录器
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)

# 创建文件处理器和控制台处理器
file_handler = logging.FileHandler('app.log')
console_handler = logging.StreamHandler()

# 设置处理器级别和格式
file_handler.setLevel(logging.DEBUG)
console_handler.setLevel(logging.INFO)

formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
console_handler.setFormatter(formatter)

# 添加处理器到日志记录器
logger.addHandler(file_handler)
logger.addHandler(console_handler)

# 记录日志
logger.debug('这是一个调试信息')
logger.info('这是一个信息提示')

使用日志过滤器

精准筛选所需日志，例如只记录特定模块或函数的日志。

class MyFilter(logging.Filter):
    def filter(self, record):
        return 'important_module' in record.getMessage()

# 创建日志记录器
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)

# 创建文件处理器，并添加过滤器
file_handler = logging.FileHandler('app.log')
file_handler.setLevel(logging.DEBUG)
file_handler.addFilter(MyFilter())

formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)

logger.addHandler(file_handler)

# 记录日志
logger.debug('这是一个调试信息')
logger.info('这是一个信息提示')

使用上下文管理器

提升代码整洁度，简化临时更改日志级别的操作。

from contextlib import contextmanager

@contextmanager
def log_level(level):
    logger = logging.getLogger()
    original_level = logger.getEffectiveLevel()
    try:
        logger.setLevel(level)
        yield
    finally:
        logger.setLevel(original_level)

# 使用上下文管理器记录日志
with log_level(logging.DEBUG):
    logging.debug('这是一个调试信息')

通过上述技巧，可以有效地提高Python爬虫的日志记录效率和可维护性。