node.js爬虫框架node-crawler？相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。
npm 安装：
npm install crawler
new一个crawler对象
var c = new Crawler({
// 在每个请求处理完毕后将调用此回调函数
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
// $ 默认为 Cheerio 解析器
// 它是核心jQuery的精简实现，可以按照jQuery选择器语法快速提取DOM元素
console.log($("title").text());
}
done();
}
});然后往crawler队列里面不停的加url就行了，
// 将一个URL加入请求队列，并使用默认回调函数
c.queue('http://www.amazon.com');
// 将多个URL加入请求队列
c.queue(['http://www.google.com/','http://www.yahoo.com']);控制并发速度
爬虫框架一般都是同时去爬多个页面，但是速度过快会触发目标网站的反爬虫机制，也同时影响别人网站的性能。
控制最大的并发数量
var c = new Crawler({
// 最大并发数默认为10
maxConnections : 1,
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
console.log($("title").text());
}
done();
}
});使用慢速模式
使用参数 rateLimit 启用慢速模式，两次请求之间会闲置 rateLimit 毫秒，而 maxConnections 将被强行修改为 1 。
var c = new Crawler({
// `maxConnections` 将被强制修改为 1
maxConnections : 10,
// 两次请求之间将闲置1000ms
rateLimit: 1000,
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
console.log($("title").text());
}
done();
}
});下载图片等静态文件
var c = new Crawler({
encoding:null,
jQuery:false,// set false to suppress warning message.
callback:function(err, res, done){
if(err){
console.error(err.stack);
}else{
fs.createWriteStream(res.options.filename).write(res.body);
}
done();
}
});
c.queue({
uri:"https://nodejs.org/static/images/logos/nodejs-1920x1200.png",
filename:"nodejs-1920x1200.png"
});看完上述内容，你们掌握node.js爬虫框架node-crawler的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注亿速云行业资讯频道，感谢各位的阅读！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
