温馨提示×

用python爬虫需要用到哪些函数

九三
1047
2021-01-26 15:10:01
栏目: 编程语言

用python爬虫需要用到哪些函数

python爬虫中常用的函数有以下几种

1.urlopen函数

urlopen()函数是创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。

urlopen()函数语法:

urllib.urlopen(url[, data[, proxies]])

参数:

url:外部或者本地url。

data:表示以post方式提交到url的数据。

proxies:用于设置代理。

2.urlretrieve函数

urlretrieve()函数的作用是直接将远程数据下载到本地。

urlretrieve()函数语法:

urllib.urlretrieve(url[, filename[, reporthook[, data]]])

参数:

url:外部或者本地url。

filename:指定了保存到本地的路径。

reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。

data:指post到服务器的数据。

3.request函数

request()函数是用于构造一个请求,可以是get\post\put请求等。

request()函数参数:

url:请求URL。

params:请求参数,字典类型,常用于发送 GET 请求时使用。

timeout:超时时间 ,整数类型。

headers:设置请求头。

auth:指定登陆时的账号和密码,元祖类型。

verify:请求网站时是否需要验证,布尔类型。

proxies:设置代理。

cookies:cookies值。

0