PHP中怎么利用swoole实现一个多线程爬虫,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
在swoole中,php可以借助其启动子进程的方式,实现php的多进程:
<?php
$s_time = time();
echo '开始时间:'.date('H:i:s',$s_time).PHP_EOL;
//进程数
$work_number=6;
//
$worker=[];
//模拟地址
$curl=[
'https://blog.csdn.net/feiwutudou',
'https://wiki.swoole.com/wiki/page/215.html',
'http://fanyi.baidu.com/?aldtype=16047#en/zh/manager',
'http://wanguo.net/Salecar/index.html',
'http://o.ngking.com/themes/mskin/login/login.jsp',
'https://blog.csdn.net/marksinoberg/article/details/77816991'
];
//单线程模式
// foreach ($curl as $v) {
// echo curldeta($v);
// }
//创建进程
for ($i=0; $i < $work_number; $i++) {
//创建多线程
$pro=new swoole_process(function(swoole_process $work) use($i,$curl){
//获取html文件
$content=curldeta($curl[$i]);
//写入管道
$work->write($content.PHP_EOL);
},true);
$pro_id=$pro->start();
$worker[$pro_id]=$pro;
}
//读取管道内容
foreach ($worker as $v) {
echo $v->read().PHP_EOL;
}
//模拟爬虫
function curldeta($curl_arr)
{//file_get_contents
echo $curl_arr.PHP_EOL;
file_get_contents($curl_arr);
}
//进程回收
swoole_process::wait();
$e_time = time();
echo '结束时间:'.date('H:i:s',$e_time).PHP_EOL;
echo '所用时间:'.($e_time-$s_time).'秒'.PHP_EOL;
?>
关于PHP中怎么利用swoole实现一个多线程爬虫问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://www.xuebuyuan.com/3278353.html