温馨提示×

python有什么爬虫函数

九三
320
2021-03-03 15:23:30
栏目: 编程语言

python有什么爬虫函数

python中的爬虫函数有以下几种

1.urlopen()函数

urlopen()函数的作用主要是获取远程数据。

语法:

urllib.urlopen(url[, data[, proxies]])

url:表示远程数据的路径,一般是网址;

data:表示以post方式提交到url的数据;

proxies:用于设置代理;

2.urlretrieve函数

urlretrieve函数的作用是直接将远程数据下载到本地。

语法:

urllib.urlretrieve(url[, filename[, reporthook[, data]]])

注:

url:外部或者本地url;

filename:指定了保存到本地的路径;

reporthook:回调函数,用来显示当前的下载进度;

data:指post到服务器的数据;

0