Node爬虫并发请求怎样实现

在Node.js中，可以使用多种方法实现爬虫并发请求。这里，我将向您展示如何使用async/await和Promise.all()实现并发请求。

首先，确保已经安装了axios库，用于发送HTTP请求。如果尚未安装，请运行以下命令：

npm install axios

接下来，创建一个名为scraper.js的文件，并在其中编写以下代码：

const axios = require('axios');

// 定义一个异步函数，用于发送请求并处理响应
async function fetch(url) {
  try {
    const response = await axios.get(url);
    return response.data;
  } catch (error) {
    console.error(`Error fetching ${url}:`, error);
    return null;
  }
}

// 定义一个异步函数，用于并发请求多个URL
async function fetchUrls(urls) {
  // 使用Promise.all()并发执行所有fetch请求
  const responses = await Promise.all(urls.map(fetch));
  return responses;
}

// 示例URL列表
const urls = [
  'https://jsonplaceholder.typicode.com/todos/1',
  'https://jsonplaceholder.typicode.com/todos/2',
  'https://jsonplaceholder.typicode.com/todos/3',
];

// 调用fetchUrls()函数并处理结果
fetchUrls(urls)
  .then((responses) => {
    console.log('Responses:', responses);
  })
  .catch((error) => {
    console.error('Error fetching one or more URLs:', error);
  });

在这个示例中，我们定义了一个名为fetch的异步函数，它使用axios.get()发送HTTP请求并返回响应数据。我们还定义了一个名为fetchUrls的异步函数，它接受一个URL列表并使用Promise.all()并发执行所有fetch请求。最后，我们调用fetchUrls()函数并处理结果。

运行此脚本，您将看到并发请求的结果：

node scraper.js

请注意，这个示例仅用于演示目的。在实际应用中，您可能需要根据需求对代码进行调整，例如添加错误处理、限制并发请求数量等。