在Python中,要激活代理IP爬虫,您需要首先安装一个名为requests
的库(如果尚未安装),然后使用该库设置代理服务器。以下是一个简单的示例,说明如何使用代理IP爬虫:
requests
库(如果尚未安装):pip install requests
import requests
# 代理服务器列表
proxies = [
{'http': 'http://proxy1.example.com:8080'},
{'http': 'http://proxy2.example.com:8080'},
{'http': 'http://proxy3.example.com:8080'}
]
# 要爬取的URL
url = 'https://www.example.com'
# 使用代理服务器发送请求
response = requests.get(url, proxies=proxies)
# 打印响应内容
print(response.text)
在这个示例中,我们定义了一个名为proxies
的列表,其中包含三个代理服务器的URL。然后,我们使用requests.get()
函数发送一个GET请求,并将proxies
参数设置为代理服务器列表。这将使请求通过其中一个代理服务器发送。
请注意,您需要将proxy1.example.com
、proxy2.example.com
和proxy3.example.com
替换为您自己的代理服务器地址。同样,您可以根据需要更改端口号(在本例中为8080)。
此外,您还可以使用其他HTTP方法(如POST
、PUT
等)以及设置其他请求头。只需将requests.get()
替换为相应的方法,并根据需要传递其他参数即可。