在Python3中,爬虫数据的清洗可以通过以下几个步骤进行:
pip install beautifulsoup4 pandas requests
import requests
url = 'https://example.com'
response = requests.get(url)
html_content = response.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
data = soup.find_all('div', class_='item')
import pandas as pd
# 将提取到的数据转换为Pandas DataFrame
df = pd.DataFrame(data)
# 去除空值
df.dropna(inplace=True)
# 去除重复值
df.drop_duplicates(inplace=True)
# 转换数据类型
df['price'] = df['price'].str.replace('¥', '').astype(float)
df.to_csv('cleaned_data.csv', index=False)
以上就是使用Python3进行爬虫数据清洗的基本步骤。根据实际需求,你可能还需要对数据进行更复杂的处理,例如正则表达式匹配、数据转换等。