Python爬虫Selenium库的详细用法

这篇文章主要介绍“Python爬虫Selenium库的详细用法”，在日常操作中，相信很多人在Python爬虫Selenium库的详细用法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Python爬虫Selenium库的详细用法”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取，这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。

selenuim是一种自动化测试工具，它支持多种浏览器。而在爬虫中，我们可以使用它来模拟浏览器浏览页面，进而解决JavaScript渲染的问题。

1. 使用示例

2. 详细介绍

2.1 声明浏览器对象

即告诉程序，应该使用哪个浏览器进行操作

2.3 查找元素

成功访问网页后，我们可能需要进行一些操作，比如找到搜索框然后输入关键字再敲击回车键。

因此，就需要在selenium中查找元素。

2.3.1 单个元素

selenium查找元素有两种方法。

第一种，是指定使用哪种方法去查找元素，比如指定依照CSS选择或者依照xpath去进行查找

下面是详细的元素查找方法

find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

第二种，是直接使用find_element()，传入的第一个参数为需要使用的元素查找方法

2.3.2 多个元素

查找多个元素和查找单个元素的方法基本一致(只需要将查找单个元素的func里加一个s)。

查找多个元素返回的是一个list。

2.5 交互动作

交互动作是将动作附加到交互链中串行执行，需要使用到ActionChains。

2.6 执行JavaScript

比如拖拽下拉

2.8 Frame

如果定位到父frame，是无法查找到子frame的信息的，因此需要切换到子frame再进行查找。同理，在子frame也无法查找到父frame的信息

2.9.2 显式等待

显示等待包含了等待条件和等待时间。

首先判定等待条件是否成立，如果成立，则直接返回；如果条件不成立，则等待最长时间为等待时间，如果超过等待时间后仍然没有满足等待等待条件，则抛出异常。

显式等待是对指定的元素进行等待。

2.11 对Cookies进行操作

到此，关于“Python爬虫Selenium库的详细用法”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！