温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

perl多线程rsync备份文件到远端主机

发布时间:2020-07-27 04:18:08 来源:网络 阅读:1975 作者:西索oO 栏目:大数据

需求:

主机上有上百G的备份文件要rsync到远端主机,我们将大文件进行切割为几十个小文件进行多线程传输。

这里使用14个1G的文件进行演示:

[root@vm0 test]# pwd
/root/test
[root@vm0 test]# ll
总用量 13631540
-rw-r--r--. 1 root root 1073741824 6月  11 18:29 test10.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:30 test11.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:31 test12.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:31 test13.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:32 test14.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:23 test2.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:24 test3.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:25 test4.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:26 test5.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:26 test6.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:27 test7.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:28 test8.data
-rw-r--r--. 1 root root 1073741824 6月  11 18:29 test9.data
[root@vm0 test]#

脚本名:tq.pl

#!/usr/bin/env perl

use strict;
use threads;
use Thread::Queue;
use File::Find;
use File::Rsync;
use POSIX qw(strftime);

#本地主机文件目录
my $srcFilePath='/root/test/';
#使用队列,将要备份的文件逐一插入队列
my $fileQueue = Thread::Queue->new();
#远端主机备份目录
my $remotedir='lansgg@192.168.137.129::lansggtest';
#最大线程数
my $thread_max = 5;
my $backupTime = strftime("%Y%m%d%H%M%S",localtime(time));
print "begin : $backupTime\n";

#检索要备份目录下的所有文件,. 除外。 linux中 . 代表当前目录
sub findAllFile {
        unless ( $_ eq '.'){
        print "corrent file : $File::Find::name \n";
        $fileQueue->enqueue($_);
        }
}

find(\&findAllFile,$srcFilePath);

#使用rsync进行传输
sub rsync {
    my $file = shift;
    print "rsync -- $file \n";
    my $obj = File::Rsync->new(
    {
    archive    => 1,
    compress => 1,
    checksum => 1,
    recursive => 1,
    times => 1,
#    verbose => 1,
    timeout => 300,
    progress => 1,
    stats => 1,
    'ignore-times' => 1,
    'password-file' => './rsync.pass',
    }
);

$obj->exec( { src => "$srcFilePath$file", dest => $remotedir } ) or warn "rsync Failed ! \n";

#print $obj->out;

}
#检查队列中未传输的文件
while ($fileQueue->pending()){
    if (scalar(threads->list()) < $thread_max ){
         my $readQueue = $fileQueue->dequeue();        
#        print "current file Queue is $readQueue \n";
#生成线程
        threads->create(\&rsync,$readQueue);

#查看当前线程总数
        my $thread_count = threads->list();
#        print "thread_count is $thread_count\n"; 
    }
#确定当前线程是否作业完成,进行回收
    foreach my $thread (threads->list(threads::all)){
        if ($thread->is_joinable()){
                $thread->join();
            }
        }
}

#join掉剩下的线程(因为在while中的队列为空时,可能还有线程在执行,但是此时程序将退出while循环,所以这里需要额外程序join掉剩下的线程)

foreach my $thread ( threads->list(threads::all) ) {
    $thread->join();
    }


$backupTime = strftime("%Y%m%d%H%M%S",localtime(time));
print "end : $backupTime\n";

此脚本是使用了核心功能,后期可以加上日志记录,邮件发送等功能。


当我们执行该脚本时,查看主机线程情况

[root@vm0 pl]# ps -ef |grep tq
root       6377   2152 88 19:05 pts/3    00:00:12 perl ./tq.pl
[root@vm0 pl]# pstree -p 6377
perl(6377)─┬─rsync(6379)
           ├─rsync(6381)
           ├─rsync(6383)
           ├─rsync(6385)
           ├─rsync(6387)
           ├─{perl}(6378)
           ├─{perl}(6380)
           ├─{perl}(6382)
           ├─{perl}(6384)
           └─{perl}(6386)
          
 [root@vm0 pl]# ps -ef |grep rsync
root       6379   6377 14 19:05 pts/3    00:00:14 rsync --archive --checksum --compress --ignore-times --progress --recursive --stats --times --password-file=./rsync.pass --timeout=300 /root/test//test13.data lansgg@192.168.137.129::lansggtest
root       6381   6377 14 19:05 pts/3    00:00:14 rsync --archive --checksum --compress --ignore-times --progress --recursive --stats --times --password-file=./rsync.pass --timeout=300 /root/test//test12.data lansgg@192.168.137.129::lansggtest
root       6383   6377 14 19:05 pts/3    00:00:14 rsync --archive --checksum --compress --ignore-times --progress --recursive --stats --times --password-file=./rsync.pass --timeout=300 /root/test//test1.data lansgg@192.168.137.129::lansggtest
root       6385   6377 14 19:05 pts/3    00:00:14 rsync --archive --checksum --compress --ignore-times --progress --recursive --stats --times --password-file=./rsync.pass --timeout=300 /root/test//test8.data lansgg@192.168.137.129::lansggtest
root       6387   6377 12 19:05 pts/3    00:00:12 rsync --archive --checksum --compress --ignore-times --progress --recursive --stats --times --password-file=./rsync.pass --timeout=300 /root/test//test3.data lansgg@192.168.137.129::lansggtest
root       6399   2193  0 19:06 pts/2    00:00:00 grep rsync


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI