这篇文章主要介绍“如何使用notify+rsync实现linux文件批量更新”，在日常操作中，相信很多人在如何使用notify+rsync实现linux文件批量更新问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”如何使用notify+rsync实现linux文件批量更新”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
Rsync远程同步工具，通过rsync可以实现对远程服务器数据增量备份同步，但是rsync自身也有瓶颈，同步数据时，rsync采用核心算法对远程服务器的目标文件进行对比，只进行差异同步，如果服务器文件的数量达到百万甚至是千万量级，那么文件对比将是非常耗时的，而且发生变化的往往只是其中很少的一部分，这是非常低效的方式，Inotify的出现，可以缓解rsync的不足之处，取长补短。
CentOS_5.7-x86_64 更新源服务器：192.168.9.227 目的服务器：192.168.9.226 192.168.9.228 …
192.168.9.226 192.168.9.228（rsync服务端）：
rpm -qa|grep rsync
如果没有发装，执以下命令进行安装
yum -y install rsync
192.168.9.226:
cat >> /etc/rsyncd.conf log file = /var/log/rsyncd.log [web1] path = /data/www1/ ignore errorsread only = no list = no hosts allow = 192.168.9.0/255.255.255.0 auth users = www1 secrets file = /etc/www1.pwd EOF
192.168.9.228:
cat >> /etc/rsyncd.conf log file = /var/log/rsyncd.log [web2] path = /data/www2/ ignore errorsread only = no list = no hosts allow = 192.168.9.0/255.255.255.0 auth users = www2 secrets file = /etc/www2.pwd EOF
uid = nobody //运行RSYNC守护进程的用户 gid = nobody //运行RSYNC守护进程的组 use chroot = 0 //不使用chroot max connections = 0 // 最大连接数,0为不限制 port = 873 //默认端口873 下面这些文件是安装完RSYNC服务后自动生成的文件 pid file = /var/run/rsyncd.pid //pid文件的存放位置 lock file = /var/run/rsync.lock //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.log file = /var/log/rsyncd.log //日志记录文件的存放位置 Timeout = 300 通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600. Log format = %t %a %m %f %b 通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示： %h 远程主机名 %a 远程IP地址 %l 文件长度字符数 %p 该次rsync会话的进程id %o 操作类型：" send" 或" recv"%f 文件名 %P 模块路径 %m 模块名 %t 当前时间 %u 认证的用户名(匿名时是null) %b 实际传输的字节数 %c 当发送文件时,该字段记录该文件的校验码 默认log格式为：" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.#transfer logging = yes使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中. syslog facility = local3 指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon. 模块参数 [web1] //这里是认证的模块名,在client端需要指定 path = /data/www1/ //需要做镜像的目录,不可缺少！ comment = backup web //这个模块的注释信息 ignore errors //可以忽略一些无关的IO错误read only = yes //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true. list = no //不允许列文件 auth users = bak //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关 该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式). secrets file = /etc/www1.pwd //密码和用户名对比表,密码文件自己生成 该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如：/etc/www1.pwd).注意：该文件的权限一定要是600,否则客户端将不能连接服务器. hosts allow = 192.168.9.0/255.255.255.0 //允许主机或网段 该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式： 单个IP地址,例如：192.168.9.227 整个网段,例如：192.168.9.0/24,也可以是192.168.9.0/255.255.255.0 多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接. hosts deny = 0.0.0.0/0 //禁止主机
建立认证文件/etc/www1.pwd
此文件须与配置文件中指定文件名保持一致 此处格式为：username:password,安全问题,并不建议实际使用中使用root用户 192.168.9.226:
echo "www1:741852" >> /etc/www1.pwd
192.168.9.228:
echo "www2:951753" >> /etc/www2.pwd
并且我们需要设置此文件的权限为600
chmod 600 /etc/www1.pwd chmod 600 /etc/www2.pwd chmod 600 /etc/rsyncd.conf
建立motd文件（可有可无）
rsyncd.motd记录了rsync服务的欢迎信息,你可以在其中输入任何文本信息,如：
echo "Welcome to use the rsync services!" >> /var/rsyncd.motd
启动rsync
/usr/bin/rsync --daemonecho "/usr/bin/rsync --daemon" >> /etc/rc.local
更新源服务器配置
192.168.9.227 （rsync客户端）
inotify 可以监视的文件系统事件包括
IN_ACCESS，即文件被访问IN_MODIFY，文件被 writeIN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等IN_CLOSE_WRITE，可写文件被 closeIN_CLOSE_NOWRITE，不可写文件被 closeIN_OPEN，文件被 openIN_MOVED_FROM，文件被移走,如 mvIN_MOVED_TO，文件被移来，如 mv、cpIN_CREATE，创建新文件IN_DELETE，文件被删除，如 rmIN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己IN_UNMOUNT，宿主文件系统被 umountIN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO)
注：上面所说的文件也包括目录。
在安装inotify-tools前请先确认你的linux内核是否打到了2.6.13，并且在编译时开启了CONFIG_INOTIFY选项，也可以通过以下命令检测
ls /proc/sys/fs/inotify
如果有 max_queued_events，max_user_instances，max_user_watches 三项就说明支持
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztar xvf inotify-tools-3.14.tar.gzcd inotify-tools-3.14./configuremake;make install
vi /root/rsync.sh#!/bin/bashhost1=192.168.9.226
host2=192.168.9.228
src=/data/www/
des1=web1
des2=web2
user1=www1
user2=www2
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
-e modify,delete,create,attrib \${src} \
| while read filedorsync -vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&
rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}::${des2} --password-file=/etc/www2.pwd &&echo "${files} was rsynced" >> /tmp/rsync.log 2>&1echo "---------------------------------------------------------------------------"done-m， 即--monitor，表示始终保持事件监听状态。
-r， 即--recursive，表示递归查询目录。
-q， 即--quiet，表示打印出监控事件。
-e， 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等
--timefmt：指定时间的输出格式
--format：指定变化文件的详细信息建立认证文件 (rsync客户端认证文件只用加入密码)
echo "741852" >> /etc/www1.pwdecho "951753" >> /etc/www2.pwd chmod 600 /etc/www1.pwd chmod 600 /etc/www2.pwd /bin/sh -n /root/rsync.sh //语法检查 chmod +x /root/rsync.sh nohup sh /root/rsync.sh &echo "nohup sh /root/rsync.sh &" >> /etc/rc.local
在更新源服务器上新建一个文件，运行以下的命令，看文件是否可以正常同步，看有无报错信息
rsync -vzrtopg --delete --progress /data/www1/ www1@192.168.9.226::web1 --password-file=/etc/www1.pwd
将要更新的文件提交到更新源服务器中，这样就通过inotify+rsync批量的将更新文件同步到所有的目的服务器中，相当方便快捷。
到此，关于“如何使用notify+rsync实现linux文件批量更新”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
