温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

python中bs4解析和xpath解析的示例分析

发布时间:2022-02-28 13:43:11 来源:亿速云 阅读:169 作者:小新 栏目:开发技术

这篇文章给大家分享的是有关python中bs4解析和xpath解析的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

    bs4解析

    原理:

    1.实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中

    2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

    如何实例化BeautifulSoup对象:

    from bs4 import BeautifulSoup

    BeautifulSoup(参数一,参数二)

    参数一为文件描述符,参数二为解析器,一般为’lxml’

    一对象的实例化:

    1.将本地的html文档中的数据加载到该对象中

    fp = open( './test.html','r',encoding='utf-8')
    soup=BeautifulSoup(fp,'lxml')

    2.将互联网上获取的页面源码加载到该对象中

    page_text =response.text
    soup=BeatifulSoup(page_text,'lxml')

    soup指初始化的BeautifulSoup对象

    用于数据解析的方法和属性:

    1.soup.tagName:返回的是文档中第一次出现的tagName对应的标签

    2.soup.find():

    (1).find( ‘tagName’):等同于soup.tagName

    (2).属性定位:soup.find(‘div’,class_/id/或者其他属性=‘song’)

    定位到< div class=“song”>/< div id=“song”>的标签下

    class如果没有加_则代表关键字

    3.soup.find_all(&lsquo;tagName&rsquo;):返回符合要求的所有标签(列表)

    soup对象:
    
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" rel="external nofollow"  title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></1i>
            <li><a href="http://www.163.com" rel="external nofollow"  title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></1i>
            <li><a href=" http://ww.126.com" rel="external nofollow" alt="qi ">歧王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
            <li><a href="http: //www.sina.com" rel="external nofollow"  class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" rel="external nofollow"  class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://ww.hana.com”id=" rel="external nofollow" feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
        </ul>
    </div>

    4.select:

    - select(&lsquo;某种选择器(id,class,标签&hellip;选择器)&rsquo;),返回的是一个列表。

    标签什么都不加,class前面加. id前面加#

    层级选择器:

    >表示的是一个层级;空格表示的多个层级

         soup.select( '.tang > ul > li > a') 
         soup.select( '.tang >ul a')
         结果为:[<a href="http://www.baidu.com" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a>,
         <a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a>,
         <a href=" http://ww.126.com"alt="qi ">歧王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a>,
         <a href="http: //www.sina.com" class="du">杜甫</a>,
         <a href="http://www.dudu.com" class="du">杜牧</a>,
        <a href="http://ww.hana.com”id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a>]

    5.获取标签之间的文本数据:

    -soup.a.text/string/get_text()

    -text/get_text():可以获取某一个标签中所有的文本内容

    -string:只可以获取该标签下面直系的文本内容

    6.获取标签中属性值:

    soup.a[&lsquo;属性值&rsquo;]

    print(soup.select( '.tang > ul > li > a') [0]['href'])
    结果:
    www.baidu.com

    xpath解析

    最常用且最便捷高效的一种解析方式。通用性。

    xpath解析原理:

    1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中。

    2调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

    实例化一个etree对象:

    from lxml import etree

    -1.将本地的html文档中的源码数据加载到etree对象中:

    etree.parse(filePath)

    -2.可以将从互联网上获取的源码数据加载到该对象中

    etree.HTML( 'page_text')

    xpath( &lsquo;xpath表达式&rsquo;)

    xpath表达式:(返回一个列表)

    -/:表示的是从根节点开始定位。表示的是一个层级。

    -//:表示的是多个层级。可以表示从任意位置开始定位。

    -属性定位://div[@class=&lsquo;song&rsquo;] tag[@attrname=&lsquo;attrvalue&rsquo;]

    -索引定位://div[@class=&lsquo;song&rsquo;]/p[3]

    索引从1开始的

    取文本:

    • /text()获取的是标签中直系的文本内容

    • //text(标签中非直系的文本内容(所有的文本内容)

    取属性:

    • /@attrName

    • eg:/img/@src

    • ./表示定位到当前位置(局部解析)

    多个xpath之间用|分割:

    • tree.xpath(&rsquo;//div[@class=&lsquo;song&rsquo;]/p[3] | //div[@class=&lsquo;song&rsquo;]&rsquo;)

    感谢各位的阅读!关于“python中bs4解析和xpath解析的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

    向AI问一下细节

    免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

    AI