python爬虫中常用的函数有以下几种
1.urlopen函数
urlopen()函数是创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。
urlopen()函数语法:
urllib.urlopen(url[, data[, proxies]])
参数:
url:外部或者本地url。
data:表示以post方式提交到url的数据。
proxies:用于设置代理。
2.urlretrieve函数
urlretrieve()函数的作用是直接将远程数据下载到本地。
urlretrieve()函数语法:
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
参数:
url:外部或者本地url。
filename:指定了保存到本地的路径。
reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。
data:指post到服务器的数据。
3.request函数
request()函数是用于构造一个请求,可以是get\post\put请求等。
request()函数参数:
url:请求URL。
params:请求参数,字典类型,常用于发送 GET 请求时使用。
timeout:超时时间 ,整数类型。
headers:设置请求头。
auth:指定登陆时的账号和密码,元祖类型。
verify:请求网站时是否需要验证,布尔类型。
proxies:设置代理。
cookies:cookies值。