网络爬虫由于一个ip频繁访问同一网站,容易返回456或者被长时间封禁。
特别的本机有socks5客户端的设置如下,前提是已经安装了socks5的客户端软件,并且启动起来在固定端口为本机提供服务。
使用前先更新requests版本为支持socks的版本。
pip install -U requests[socks]
import requests my_proxies={"http":"http://127.0.0.1:1080","https":"https://127.0.0.1:1080"} resp=requests.get("http://www.some.com",proxies=my_proxies,timeout=5) print(resp.text)
注意其中的地址协议写的是http和https。
以上这篇python requests使用socks5的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持亿速云。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。