这篇文章主要为大家展示了python如何使用Beautifulsoup模块，内容简而易懂，希望大家可以学习一下，学习完之后肯定会有收获的，下面让小编带大家一起来看看吧。
什么是beautifulsoup:
Beautiful Soup 3 目前已经停止开发,我们推荐在现在的项目中使用Beautiful Soup 4
beautifulsoup的版本：最新版是bs4
from bs4 import beautifulsoup
soup=beautifulsoup(解析内容,解析器)
常用解析器：html.parser,lxml,xml,html5lib
有时候需要安装安装解析器：比如pip3 install lxml
BeautifulSoup默认支持Python的标准HTML解析库，但是它也支持一些第三方的解析库：
解析器之间的区别 #此处摘自官方文档
Beautiful Soup为不同的解析器提供了相同的接口,但解析器本身时有区别的.同一篇文档被不同的解析器解析后可能会生成不同结构的树型文档.区别最大的是HTML解析器和XML解析器,看下面片段被解析成HTML结构:
BeautifulSoup("<a><b /></a>") # <html><head></head><body><a><b></b></a></body></html>因为空标签<b />不符合HTML标准,所以解析器把它解析成<b></b>
同样的文档使用XML解析如下(解析XML需要安装lxml库).注意,空标签<b />依然被保留,并且文档前添加了XML头,而不是被包含在<html>标签内:
BeautifulSoup("<a><b /></a>", "xml") # <?xml version="1.0" encoding="utf-8"?> # <a><b/></a>HTML解析器之间也有区别,如果被解析的HTML文档是标准格式,那么解析器之间没有任何差别,只是解析速度不同,结果都会返回正确的文档树.
但是如果被解析文档不是标准格式,那么不同的解析器返回结果可能不同.下面例子中,使用lxml解析错误格式的文档,结果</p>标签被直接忽略掉了:
BeautifulSoup("<a></p>", "lxml") # <html><body><a></a></body></html>使用html5lib库解析相同文档会得到不同的结果:
BeautifulSoup("<a></p>", "html5lib") # <html><head></head><body><a><p></p></a></body></html>html5lib库没有忽略掉</p>标签,而是自动补全了标签,还给文档树添加了<head>标签.
使用pyhton内置库解析结果如下:
BeautifulSoup("<a></p>", "html.parser") # <a></a>与lxml [7] 库类似的,Python内置库忽略掉了</p>标签,与html5lib库不同的是标准库没有尝试创建符合标准的文档格式或将文档片段包含在<body>标签内,与lxml不同的是标准库甚至连<html>标签都没有尝试去添加.
因为文档片段“<a></p>”是错误格式,所以以上解析方式都能算作”正确”,html5lib库使用的是HTML5的部分标准,所以最接近”正确”.不过所有解析器的结构都能够被认为是”正常”的.
不同的解析器可能影响代码执行结果,如果在分发给别人的代码中使用了 BeautifulSoup ,那么最好注明使用了哪种解析器,以减少不必要的麻烦.
补充1：上面的筛选方式可以使用嵌套:
print(soup.p.a)#p标签下的a标签
补充2：以上的name,text,string,attrs等方法都可以使用在当结果是一个bs4.element.Tag对象的时候:
from bs4 import BeautifulSoup
html = """
<html >
<head>
<meta charset="UTF-8">
<title>this is a title</title>
</head>
<body>
<p class="news">123</p>
<p class="contents" id="i1">456</p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
</body>
</html>
"""
soup = BeautifulSoup(html,'lxml')
print("获取结点".center(50,'-'))
print(soup.head)#获取head标签
print(soup.p)#返回第一个p标签
#获取结点名
print("获取结点名".center(50,'-'))
print(soup.head.name)
print(soup.find(id='i1').name)
#获取文本内容
print("获取文本内容".center(50,'-'))
print(soup.title.string)#返回title的内容
print(soup.title.text)#返回title的内容
print(soup.title.get_text())
#获取属性
print("-----获取属性-----")
print(soup.p.attrs)#以字典形式返回标签的内容
print(soup.p.attrs['class'])#以列表形式返回标签的值
print(soup.p['class'])#以列表形式返回标签的值
print(soup.p.get('class'))
#############
t=soup.title
print(type(t))#<class 'bs4.element.Tag'>
print(t.name)#title
print(t.text)
#嵌套选择:
print(soup.head.title.string)
补充3:与补充2一样，上面的函数都可以使用在当结果是一个bs4.element.Tag对象的时候。
from bs4 import BeautifulSoup
html = """
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<p class="news"><a >123456</a>
<a >78910</a>
</p><p class="contents" id="i1"></p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
<span>aspan</span>
</body>
</html>
"""
soup = BeautifulSoup(html, 'lxml')
#获取子结点
print("获取子结点".center(50,'-'))
print(soup.p.contents)
print("\n")
c=soup.p.children#返回的是一个可迭代对象
for i,child in enumerate(c):
print(i,child)
print("获取子孙结点".center(50,'-'))
print(soup.p.descendants)
c2=soup.p.descendants
for i,child in enumerate(c2):
print(i,child)
print("获取父结点".center(50,'-'))
c3=soup.title.parent
print(c3)
print("获取父，祖先结点".center(50,'-'))
c4=soup.title.parents
print(c4)
for i,child in enumerate(c4):
print(i,child)
print("获取兄弟结点".center(50,'-'))
print(soup.p.next_sibling)
print(soup.p.previous_sibling)
for i,child in enumerate(soup.p.next_siblings):
print(i,child,end='\t')
for i,child in enumerate(soup.p.previous_siblings):
print(i,child,end='\t')find_all( name , attrs , recursive , text , **kwargs ):【根据参数来找出对应的标签,但只返回所有符合条件的结果】
筛选条件参数介绍：
name：为标签名,根据标签名来筛选标签
attrs:为属性,，根据属性键值对来筛选标签，赋值方式可以为:属性名=值,attrs={属性名:值}【但由于class是python关键字，需要使用class_】
text：为文本内容，根据指定文本内容来筛选出标签，【单独使用text作为筛选条件，只会返回text，所以一般与其他条件配合使用】
recursive：指定筛选是否递归，当为False时，不会在子结点的后代结点中查找，只会查找子结点
获取到结点后的结果是一个bs4.element.Tag对象，所以对于获取属性、文本内容、标签名等操作可以参考前面“使用标签筛选结果”时涉及的方法
from bs4 import BeautifulSoup
html = """
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<p class="news"><a >123456</a>
<a id='i2'>78910</a>
</p><p class="contents" id="i1"></p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
<span>aspan</span>
</body>
</html>
"""
soup = BeautifulSoup(html, 'lxml')
print("---------------------")
print(soup.find_all('a'),end='\n\n')
print(soup.find_all('a')[0])
print(soup.find_all(attrs={'id':'i1'}),end='\n\n')
print(soup.find_all(class_='news'),end='\n\n')
print(soup.find_all('a',text='123456'))#
print(soup.find_all(id='i2',recursive=False),end='\n\n')#
a=soup.find_all('a')
print(a[0].name)
print(a[0].text)
print(a[0].attrs)from bs4 import BeautifulSoup
html = """
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<p class="news"><a >123456</a>
<a id='i2'>78910</a>
</p><p class="contents" id="i1"></p>
<a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a>
<span class="span1" id='i4'>aspan</span>
</body>
</html>
"""
soup = BeautifulSoup(html, 'lxml')
sp1=soup.select('span')#返回结果是一个列表，列表的元素是bs4元素标签对象
print(soup.select("#i2"),end='\n\n')
print(soup.select(".news"),end='\n\n')
print(soup.select(".news #i2"),end='\n\n')
print(type(sp1),type(sp1[0]))
print(sp1[0].name)#列表里面的元素才是bs4元素标签对象
print(sp1[0].attrs)
print(sp1[0]['class'])补充4：
对于代码不齐全的情况下，可以使用soup.prettify()来自动补全,一般情况下建议使用，以避免代码不齐。
from bs4 import BeautifulSoup html = """ <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <p class="news"><a >123456</a> <a id='i2'>78910</a> </p><p class="contents" id="i1"></p> <a href="http://www.baidu.com" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >advertisements</a> <span class="span1" id='i4'>aspan </html> """ soup = BeautifulSoup(html, 'lxml') c=soup.prettify()#上述html字符串中末尾缺少</span> 和 </body> print(c)
以上就是关于python如何使用Beautifulsoup模块的内容，如果你们有学习到知识或者技能，可以把它分享出去让更多的人看到。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
