温馨提示×

playwright java能写爬虫吗

小樊
84
2024-11-21 16:02:34
栏目: 编程语言

是的,Playwright for Java 可以用来编写爬虫。Playwright 是一个用于多浏览器自动化的 Node.js 库,但它也提供了 Java 绑定。通过 Playwright for Java,你可以控制浏览器,生成页面内容,抓取数据等。

以下是一个简单的 Playwright for Java 爬虫示例:

import com.microsoft.playwright.*;

public class WebScraper {
    public static void main(String[] args) throws Exception {
        // 启动浏览器
        Browser browser = Browser.launch();
        // 新建一个页面
        Page page = browser.newPage();
        // 导航到目标网站
        page.navigate("https://example.com");

        // 获取页面标题
        String title = page.title();
        System.out.println("Page title: " + title);

        // 抓取页面上的链接
        List<String> links = page.$$eval("a", links -> links.stream()
                .map(a -> a.getAttribute("href"))
                .collect(Collectors.toList()));
        System.out.println("Links: " + links);

        // 关闭浏览器
        browser.close();
    }
}

这个示例展示了如何使用 Playwright for Java 打开一个浏览器窗口,导航到一个网站,获取页面标题和链接。你可以根据需要扩展这个示例,以实现更复杂的爬虫功能。

0