怎么在Python中使用Post请求爬取数据?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
import requests import json headers = { 'Accept':'application/json, text/javascript, */*; q=0.01', 'X-Requested-With':'XMLHttpRequest', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36', 'Content-Type':'application/json', 'Accept-Encoding':'gzip, deflate', 'Accept-Language':'zh-CN,zh;q=0.8', 'Cache-Control':'no-cache', } #空的对象,body参数 data = {} data = json.dumps(data) page = 0 url = '网站地址,后面为参数?param1=1¶m1='+str(page) response = requests.post(url = url,data=data ,headers =headers ) print(response.url) print(response.text)
总结
现在相关工具中发现现象
请求方式确定:post还是get或者其它
参数类型:form-data还是raw或者其它
参数位置:若是post请求,在query中还是body中,还是二者皆有
ps:python requests 发起http POST 请求
python requests 发起http POST 请求,带参数,带请求头:
#!/usr/bin/env python # -*- coding: utf-8 -*- import requests import json url = 'http://official-account/app/messages/group' body = {"type": "text", "content": "测试文本", "tag_id": "20717"} headers = {'content-type': "application/json", 'Authorization': 'APP appid = 4abf1a,token = 9480295ab2e2eddb8'} #print type(body) #print type(json.dumps(body)) # 这里有个细节,如果body需要json形式的话,需要做处理 # 可以是data = json.dumps(body) response = requests.post(url, data = json.dumps(body), headers = headers) # 也可以直接将data字段换成json字段,2.4.3版本之后支持 # response = requests.post(url, json = body, headers = headers) # 返回信息 print response.text # 返回响应头 print response.status_code
python常用的库:1.requesuts;2.scrapy;3.pillow;4.twisted;5.numpy;6.matplotlib;7.pygama;8.ipyhton等。
看完上述内容,你们掌握怎么在Python中使用Post请求爬取数据的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。