如何进行反爬机制中的封ip处理

如何进行反爬机制中的封ip处理，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

 作为爬虫我们的都知道很多网站都有反爬措施阻止别人来爬取数据，而封ip是反爬策略中最常见的一种。通常他们的策略都是发现你在短时间内过多的访问就会把你的ip封禁，针对这个策略要解决其实个很简单，我们可以通过限制访问网站的频率或添加IP代理池就OK了。而在爬虫程序中我们就只需要添加代理就可以搞定了，比如以示例

#! -*- encoding:utf-8 -*-



       import requests

       import random



       # 要访问的目标页面

       targetUrl = "http://www.weibo.com"



       # 要访问的目标HTTPS页面

       # targetUrl = "https://www.weibo.com"



       # 代理服务器(产品官网 www.16yun.cn)

       proxyHost = "t.16yun.cn"

       proxyPort = "31111"



       # 代理隧道验证信息

       proxyUser = "16VIZRXL"

       proxyPass = "125478"



       proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

           "host" : proxyHost,

           "port" : proxyPort,

           "user" : proxyUser,

           "pass" : proxyPass,

       }



       # 设置 http和https访问都是用HTTP代理

       proxies = {

           "http"  : proxyMeta,

           "https" : proxyMeta,

       }



       #  设置IP切换头

       tunnel = random.randint(1,10000)

       headers = {"Proxy-Tunnel": str(tunnel)}



       resp = requests.get(targetUrl, proxies=proxies, headers=headers)



       print resp.status_code

       print resp.text

关于如何进行反爬机制中的封ip处理问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注亿速云行业资讯频道了解更多相关知识。