python爬虫requests如何进行数据解析

python

小樊

2024-12-11 10:51:19

栏目: 编程语言

在Python中，使用requests库进行网页请求和数据解析的过程分为以下几个步骤：

import requests

url = 'https://example.com'  # 替换为你需要爬取的网址
response = requests.get(url)

if response.status_code == 200:
    print('请求成功')
else:
    print('请求失败，状态码：', response.status_code)

pip install beautifulsoup4

然后，使用BeautifulSoup解析HTML内容：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')

paragraphs = soup.find_all('p')
for p in paragraphs:
    print(p.get_text())

或者提取具有特定类名的元素：

elements = soup.find_all(class_='example-class')
for element in elements:
    print(element.get_text())

import json

json_data = response.json()
print(json.dumps(json_data, indent=2))

根据你的需求，可以对这些步骤进行修改和扩展。在实际应用中，可能还需要处理反爬虫策略、设置请求头等。

最新问答