温馨提示×

python爬虫头部怎么设置

小亿
99
2024-12-07 07:24:30
栏目: 编程语言
Python开发者专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

在Python中,当你使用requests库进行网络请求时,可以通过设置请求头来模拟不同的浏览器访问。以下是如何设置头部信息的方法:

import requests

url = 'https://example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
}

response = requests.get(url, headers=headers)

print(response.text)

在这个例子中,我们设置了一个常见的浏览器User-Agent,以及其他一些可能有助于模拟真实用户访问的头部信息。你可以根据自己的需求修改这些值。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读:python spider爬虫如何处理HTTP头部信息

0