python js爬虫如何处理动态加载JSON

要处理动态加载的 JSON 数据，您可以使用 Python 的 requests 库来获取网页内容，然后使用 JavaScript 引擎（如 Selenium 或 Pyppeteer）来执行 JavaScript 代码并获取动态加载的数据。以下是两种方法的示例：

方法一：使用 Selenium

1. 安装 Selenium 库：

pip install selenium

2. 下载浏览器驱动（以 Chrome 为例）：

   访问 https://sites.google.com/a/chromium.org/chromedriver/downloads，下载与您的 Chrome 浏览器版本相匹配的驱动程序，并将其解压到某个目录。

3. 编写 Python 代码：

from selenium import webdriver
import json

# 设置 Chrome 驱动程序的路径
chrome_driver_path = 'path/to/chromedriver'

# 创建一个 Chrome 浏览器实例
browser = webdriver.Chrome(executable_path=chrome_driver_path)

# 访问目标网页
url = 'https://example.com'
browser.get(url)

# 执行 JavaScript 代码以获取动态加载的 JSON 数据
json_data = browser.execute_script('return JSON.parse(document.querySelector("your-json-selector").textContent);')

# 关闭浏览器实例
browser.quit()

# 处理 JSON 数据
print(json.dumps(json_data, indent=2))

方法二：使用 Pyppeteer

1. 安装 Pyppeteer 库：

pip install pyppeteer

2. 编写 Python 代码：

import asyncio
import json
from pyppeteer import launch

async def main():
    # 启动一个 Chromium 无头浏览器实例
    browser = await launch()
    page = await browser.newPage()

    # 访问目标网页
    url = 'https://example.com'
    await page.goto(url)

    # 执行 JavaScript 代码以获取动态加载的 JSON 数据
    json_data = await page.evaluate('''() => {
        const jsonElement = document.querySelector("your-json-selector");
        return JSON.parse(jsonElement.textContent);
    }''')

    # 关闭浏览器实例
    await browser.close()

    # 处理 JSON 数据
    print(json.dumps(json_data, indent=2))

# 运行异步任务
asyncio.run(main())

请将上述代码中的 'your-json-selector' 替换为您要获取的 JSON 数据所在的 HTML 元素的 CSS 选择器。