是的,Playwright for Java 可以用来编写爬虫。Playwright 是一个用于多浏览器自动化的 Node.js 库,但它也提供了 Java 绑定。通过 Playwright for Java,你可以控制浏览器,生成页面内容,抓取数据等。
以下是一个简单的 Playwright for Java 爬虫示例:
import com.microsoft.playwright.*;
public class WebScraper {
public static void main(String[] args) throws Exception {
// 启动浏览器
Browser browser = Browser.launch();
// 新建一个页面
Page page = browser.newPage();
// 导航到目标网站
page.navigate("https://example.com");
// 获取页面标题
String title = page.title();
System.out.println("Page title: " + title);
// 抓取页面上的链接
List<String> links = page.$$eval("a", links -> links.stream()
.map(a -> a.getAttribute("href"))
.collect(Collectors.toList()));
System.out.println("Links: " + links);
// 关闭浏览器
browser.close();
}
}
这个示例展示了如何使用 Playwright for Java 打开一个浏览器窗口,导航到一个网站,获取页面标题和链接。你可以根据需要扩展这个示例,以实现更复杂的爬虫功能。