在Python中进行网页爬取后，通常需要对获取到的数据进行清洗，以确保数据的准确性和可用性。以下是一些常见的数据清洗步骤和技巧：
使用BeautifulSoup或lxml库可以方便地去除HTML标签。
from bs4 import BeautifulSoup
html = """
<html>
<head><title>Example Page</title></head>
<body>
<h1>Welcome to Example Page</h1>
<p class="content">This is an example paragraph.</p>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text()
print(text)
使用正则表达式可以去除特殊字符和多余的空格。
import re
text = "This is an example paragraph. \n\t\r"
cleaned_text = re.sub(r'\s+', ' ', text).strip()
print(cleaned_text)
如果数据是以某种分隔符分隔的，可以使用split方法进行分割。
text = "apple,banana,orange"
fruits = text.split(',')
print(fruits)
使用列表推导式或filter函数可以去除空值。
data = ["apple", "", "banana", None, "orange"]
filtered_data = [item for item in data if item]
print(filtered_data)
将字符串转换为合适的数据类型，如整数、浮点数等。
data = ["1", "2.5", "three"]
numbers = [float(item) if item.isdigit() else None for item in data]
print(numbers)
使用正则表达式可以提取特定的数据。
import re
text = "The price of the item is $10.99."
price = re.search(r'\$(\d+\.\d{2})', text).group(1)
print(price)
将数据转换为统一的格式，如统一大小写、去除多余符号等。
data = ["Apple", "banana", " ORANGE "]
normalized_data = [item.strip().title() for item in data]
print(normalized_data)
pandas库提供了强大的数据清洗功能。
import pandas as pd
data = {
"Name": ["John", " Jane ", "Doe"],
"Age": ["25", "30", None],
"City": ["New York", "Los Angeles", "Chicago"]
}
df = pd.DataFrame(data)
# 去除空值
df = df.dropna()
# 转换数据类型
df['Age'] = df['Age'].astype(int)
print(df)
numpy库可以进行高效的数值计算和数组操作。
import numpy as np
data = np.array(["1", "2.5", "three"])
numeric_data = np.array([float(item) if item.isdigit() else np.nan for item in data])
print(numeric_data)
通过这些步骤和技巧，可以有效地清洗爬取到的数据，确保其质量和可用性。
