这篇文章主要为大家展示了“python网络爬虫的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“python网络爬虫的示例分析”这篇文章吧。
(一) 三种网页抓取方法
1、 正则表达式:
模块使用C语言编写,速度快,但是很脆弱,可能网页更新后就不能用了。
2、Beautiful Soup
模块使用Python编写,速度慢。
安装:
pip install beautifulsoup4
3、 Lxml
模块使用C语言编写,即快速又健壮,通常应该是最好的选择。
(二) Lxml安装
pip install lxml
如果使用lxml的css选择器,还要安装下面的模块
pip install cssselect
(三) 使用lxml示例
import urllib.request as re import lxml.html #下载网页并返回HTML def download(url,user_agent='Socrates',num=2): print('下载:'+url) #设置用户代理 headers = {'user_agent':user_agent} request = re.Request(url,headers=headers) try: #下载网页 html = re.urlopen(request).read() except re.URLError as e: print('下载失败'+e.reason) html=None if num>0: #遇到5XX错误时,递归调用自身重试下载,最多重复2次 if hasattr(e,'code') and 500<=e.code<600: return download(url,num-1) return html html = download('https://tieba.baidu.com/p/5475267611') #将HTML解析为统一的格式 tree = lxml.html.fromstring(html) # img = tree.cssselect('img.BDE_Image') #通过lxml的xpath获取src属性的值,返回一个列表 img = tree.xpath('//img[@class="BDE_Image"]/@src') x= 0 #迭代列表img,将图片保存在当前目录下 for i in img: re.urlretrieve(i,'%s.jpg'%x) x += 1
以上是“python网络爬虫的示例分析”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。