这篇文章主要讲解了Python基于pandas如何爬取网页表格数据，内容清晰明了，对此有兴趣的小伙伴可以学习一下，相信大家阅读完之后会有帮助。
该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。
今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。
原网页结构如下：
python代码如下：
import pandas as pd url='http://www.kuaidaili.com/free/' df=pd.read_html(url)[0] # [0]：表示第一个table，多个table需要指定，如果不指定默认第一个 # 如果没有【0】，输入dataframe格式组成的list df
输出dataframe格式数据
再次保存到本地，csv格式，注意中文编码：utf_8_sig
print(type(df))df.to_csv('free ip.csv',mode='a', encoding='utf_8_sig', header=1, index=0)print('done!')
查看csv文件
先来了解一下read_html函数的api:
pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
常用的参数：
注意：返回的结果是**DataFrame**组成的**list**。
若要dataframe，直接取list【0】
看完上述内容，是不是对Python基于pandas如何爬取网页表格数据有进一步的了解，如果还想学习更多内容，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
