小编给大家分享一下selenium怎么应对网页内容需要鼠标滚动加载的问题,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
相信大家在selenium爬取网页的时候都遇到过这样的问题:就是网页内容需要用鼠标滚动加载剩余内容,而不是一次全部加载出网页的全部内容,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错。
这里提供两种方法供大家参考
一,通过selenium模拟浏览器,然后设置浏览器高度足够长,最后延时使之能够将页面的内容都能够加载出来
import time from selenium import webdriver driver = webdriver.Firefox() driver.set_window_size(1000,30000) driver.get(url) time.sleep(5)
二,通过selenium模拟浏览器下拉操作
from selenium import webdriver import time browser.execute_script("window.scrollBy(0,3000)") time.sleep(1) browser.execute_script("window.scrollBy(0,5000)") time.sleep(1) browser.execute_script("window.scrollBy(0,8000)") time.sleep(1)
补充知识:针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容
有时网站使用了懒加载技术:只有在浏览器中纵向滚动条滚动到指定的位置时,页面的元素才会被动态加载。
注意,在加载之前,selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。
那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载
from selenium.webdriver.chrome.options import Options from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC def scroll_until_loaded(self): check_height = self.browser.execute_script("return document.body.scrollHeight;") while True: self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") try: self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height) check_height = self.browser.execute_script("return document.body.scrollHeight;") except TimeoutException: break
这里懒加载并不是一直有效, 当网速不好时,加载超过self.wait()时间, 页面还没加载出来时, 会认为全部加载完成, page_source里面的代码就会是以前加载出来的, 所以执行翻页操作后, 要执行time.sleep(3), 等待网页加载, 更新html再获取网页源代码
以上是“selenium怎么应对网页内容需要鼠标滚动加载的问题”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。