且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Rsync+inotify实现文件实时同步

更新时间:2022-09-17 08:14:28

 数据备份、文件备份是运维、DBA等岗位最熟悉不过的话题,这里不介绍数据库的备份,简单介绍一下文件同步工具,这样的工具有很多,Windows环境下有Goodsync、FreeFileSync等,Linux下rsync、unison等,常用的实时同步,是几种工具的组合,经过组合的工具达到文件实时同步的效果。

一、常用实时同步方案

1、NFS网络文件系统

    该方案是分布式架构中,解决不同节点对同一资源访问的问题,搭建NFS服务器,将其挂载在不同的节点,每个节点将公用的数据存储在NFS服务器上,实现文件的同步。

2、rsync+inotify

   该方案是实用量最大,资料最丰富的文件同步方案,rsync主要有基于系统用户和虚拟用户的两种方式,基于系统用户的方式和scp命令功能特性差不多,简单实用,可操作性强。inotify主要用来监控文件的变换,通过两者组合,编写一些简单的脚本,就可以实现文件和目录的实时同步。也是本文重点介绍的内容。

3、rsync+sersync

    sersync是基于inotify开发的工具,类似于inotify-tools工具,但是sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录。

rsync+sersync组合的特点

 a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;

 b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。

 rsync+sersync和rsync+inotify的选型

   1、同步的目录数据量不大时,建议使用rsync+inotify 

   2、同步的目录数据量很大时(几百G甚至1T以上)文件很多时,建议使用rsync+sersync

4、unison+inotify

Unison是一款跨平台的文件同步工具,不仅支持本地对本地同步,也支持通过SSH、RSH和Socket等网络协议进行同步。更棒的是,Unison支持双向同步操作,你既可以从A同步到B,也可以从B同步到A,这些都不需要额外的设定。

官方文档: 
http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.48.4-manual.html

二、基本环境

操作系统:CentOS 6.9 

rsync版本: rsync  version 3.0.6    官网:https://rsync.samba.org/ 

操作系统内核:2.6.32-696.6.3.el6.x86_64 

inotify版本:inotify-tools-3.14  下载地址如下:

1
http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

三、rsync的介绍

1、rsyn的特性

  •     可以镜像保存整个目录树和文件系统。

  •     可以很容易做到保持原来文件的权限、时间、软硬链接等等。

  •     无须特殊权限即可安装。

  •     快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。

  •     压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。

  •     安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。

  •     支持匿名传输,以方便进行网站镜象。

  •     选择性保持:符号连接,硬链接,文件属性,权限,时间等 

2、rsync与scp的区别

  •    scp无法满足大量数据备份,类似windows的复制

  •   rsync支持变复制 ,边统计,边比较

3、rsync 数据同步方式

    推push:一台主机负责吧数据传送给其他主机,服务器开销很大,比较适合后端服务器少的情况

    拉pull: 所有主机定时去找一主机拉数据,可能就会导致数据缓慢

    推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去

    拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来

    两种方案,rsync都有对应的命令来实现

4、Xinetd管理Rsync工作原理


5、rsync 命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
rsync命令和scp命令很相似
常用参数:
-a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等
-r, --recursive 复制所有下面的资料,递归处理
-p, --perms 保留档案权限 ,文件原有属性
-t, --times 保留时间点,文件原有时间
-g, --group 保留原有属组
-o, --owner 保留档案所有者(root only)
-D, --devices 保留device资讯(root only) 
-l, --links 复制所有的连接 ,拷贝连接文件
-z, --compress 压缩模式, 当资料在传送到目的端进行档案压缩.  –azP
-H, --hard-links 保留硬链接文件
-A, --acls 保留ACL属性文件,需要配合--perms
-P,-P参数和 --partial --progress 相同.只是为了把参数简单化,表示传进度
--version, 输出rsync版本 
-v , --verbose 复杂的输出信息 
-u, --update 仅仅进行更新,也就是跳过已经存在的目标位置,并且文件时间要晚于要备份的文件,不覆盖新的文件
--port=PORT, 定义rsyncd(daemon)要运行的port(预设为tcp 873) 
--delete, 删除那些目标位置有的文件而备份源没有的文件 
--password-file=FILE ,从 FILE 中得到密码 
--bwlimit=KBPS, 限制 I/O 带宽 
--filter “-filename”,需要过滤的文件 
--exclude=filname,需要过滤的文件
--progress,显示备份过程
 
帮助文档
[root@localhost install]# rsync   --help
rsync  version 3.0.6  protocol version 30
Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
    64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
    socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
    append, ACLs, xattrs, iconv, symtimes
 
rsync comes with ABSOLUTELY NO WARRANTY.  This is free software, and you
are welcome to redistribute it under certain conditions.  See the GNU
General Public Licence for details.
 
rsync is a file transfer program capable of efficient remote update
via a fast differencing algorithm.
 
Usage: rsync [OPTION]... SRC [SRC]... DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  or   rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
  or   rsync [OPTION]... [USER@]HOST:SRC [DEST]
  or   rsync [OPTION]... [USER@]HOST::SRC [DEST]
  or   rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
The ':' usages connect via remote shell, while '::' 'rsync://' usages connect
to an rsync daemon, and require SRC or DEST to start with a module name.
 
Options
 -v, --verbose               increase verbosity
 -q, --quiet                 suppress non-error messages
     --no-motd               suppress daemon-mode MOTD (see manpage caveat)
 -c, --checksum              skip based on checksum, not mod-time & size
 -a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)
     --no-OPTION             turn off an implied OPTION (e.g. --no-D)
 -r, --recursive             recurse into directories
 -R, --relative              use relative path names
     --no-implied-dirs       don't send implied dirs with --relative
 -b, --backup                make backups (see --suffix & --backup-dir)
     --backup-dir=DIR        make backups into hierarchy based in DIR
     --suffix=SUFFIX         set backup suffix (default ~ w/o --backup-dir)
 -u, --update                skip files that are newer on the receiver
     --inplace               update destination files in-place (SEE MAN PAGE)
     --append                append data onto shorter files
     --append-verify         like --append, but with old data in file checksum
 -d, --dirs                  transfer directories without recursing
 -l, --links                 copy symlinks as symlinks
 -L, --copy-links            transform symlink into referent file/dir
     --copy-unsafe-links     only "unsafe" symlinks are transformed
     --safe-links            ignore symlinks that point outside the source tree
 -k, --copy-dirlinks         transform symlink to a dir into referent dir
 -K, --keep-dirlinks         treat symlinked dir on receiver as dir
 -H, --hard-links            preserve hard links
 -p, --perms                 preserve permissions
 -E, --executability         preserve the file's executability
     --chmod=CHMOD           affect file and/or directory permissions
 -A, --acls                  preserve ACLs (implies --perms)
 -X, --xattrs                preserve extended attributes
 -o, --owner                 preserve owner (super-user only)
 -g, --group                 preserve group
     --devices               preserve device files (super-user only)
     --copy-devices          copy device contents as regular file
     --specials              preserve special files
 -D                          same as --devices --specials
 -t, --times                 preserve modification times
 -O, --omit-dir-times        omit directories from --times
     --super                 receiver attempts super-user activities
     --fake-super            store/recover privileged attrs using xattrs
 -S, --sparse                handle sparse files efficiently
 -n, --dry-run               perform a trial run with no changes made
 -W, --whole-file            copy files whole (without delta-xfer algorithm)
 -x, --one-file-system       don't cross filesystem boundaries
 -B, --block-size=SIZE       force a fixed checksum block-size
 -e, --rsh=COMMAND           specify the remote shell to use
     --rsync-path=PROGRAM    specify the rsync to run on the remote machine
     --existing              skip creating new files on receiver
     --ignore-existing       skip updating files that already exist on receiver
     --remove-source-files   sender removes synchronized files (non-dirs)
     --del                   an alias for --delete-during
     --delete                delete extraneous files from destination dirs
     --delete-before         receiver deletes before transfer, not during
     --delete-during         receiver deletes during transfer (default)
     --delete-delay          find deletions during, delete after
     --delete-after          receiver deletes after transfer, not during
     --delete-excluded       also delete excluded files from destination dirs
     --ignore-errors         delete even if there are I/O errors
     --force                 force deletion of directories even if not empty
     --max-delete=NUM        don't delete more than NUM files
     --max-size=SIZE         don't transfer any file larger than SIZE
     --min-size=SIZE         don't transfer any file smaller than SIZE
     --partial               keep partially transferred files
     --partial-dir=DIR       put a partially transferred file into DIR
     --delay-updates         put all updated files into place at transfer's end
 -m, --prune-empty-dirs      prune empty directory chains from the file-list
     --numeric-ids           don't map uid/gid values by user/group name
     --timeout=SECONDS       set I/O timeout in seconds
     --contimeout=SECONDS    set daemon connection timeout in seconds
 -I, --ignore-times          don't skip files that match in size and mod-time
     --size-only             skip files that match in size
     --modify-window=NUM     compare mod-times with reduced accuracy
 -T, --temp-dir=DIR          create temporary files in directory DIR
 -y, --fuzzy                 find similar file for basis if no dest file
     --compare-dest=DIR      also compare destination files relative to DIR
     --copy-dest=DIR         ... and include copies of unchanged files
     --link-dest=DIR         hardlink to files in DIR when unchanged
 -z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with a suffix in LIST
 -C, --cvs-exclude           auto-ignore files the same way CVS does
 -f, --filter=RULE           add a file-filtering RULE
 -F                          same as --filter='dir-merge /.rsync-filter'
                             repeated: --filter='- .rsync-filter'
     --exclude=PATTERN       exclude files matching PATTERN
     --exclude-from=FILE     read exclude patterns from FILE
     --include=PATTERN       don't exclude files matching PATTERN
     --include-from=FILE     read include patterns from FILE
     --files-from=FILE       read list of source-file names from FILE
 -0, --from0                 all *-from/filter files are delimited by 0s
 -s, --protect-args          no space-splitting; only wildcard special-chars
     --address=ADDRESS       bind address for outgoing socket to daemon
     --port=PORT             specify double-colon alternate port number
     --sockopts=OPTIONS      specify custom TCP options
     --blocking-io           use blocking I/O for the remote shell
     --stats                 give some file-transfer stats
 -8, --8-bit-output          leave high-bit chars unescaped in output
 -h, --human-readable        output numbers in a human-readable format
     --progress              show progress during transfer
 -P                          same as --partial --progress
 -i, --itemize-changes       output a change-summary for all updates
     --out-format=FORMAT     output updates using the specified FORMAT
     --log-file=FILE         log what we're doing to the specified FILE
     --log-file-format=FMT   log updates using the specified FMT
     --password-file=FILE    read daemon-access password from FILE
     --list-only             list the files instead of copying them
     --bwlimit=KBPS          limit I/O bandwidth; KBytes per second
     --write-batch=FILE      write a batched update to FILE
     --only-write-batch=FILE like --write-batch but w/o updating destination
     --read-batch=FILE       read a batched update from FILE
     --protocol=NUM          force an older protocol version to be used
     --iconv=CONVERT_SPEC    request charset conversion of filenames
 -4, --ipv4                  prefer IPv4
 -6, --ipv6                  prefer IPv6
     --version               print version number
(-h) --help                  show this help (-h works with no other options)
 
Use "rsync --daemon --help" to see the daemon-mode command-line options.
Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation.
See http://rsync.samba.org/ for updates, bug reports, and answers

四、服务安装与配置

1、安装rsync   

1
yum  install  -y rsync

2、基于系统用户的备份

   基于系统用户的备份,不需要配置rsyncd服务,这时的rsync和scp非常的类似,测试规划如下:

主机序号 主机IP 备份目录 安装软件 同步方式
1 192.168.223.128(数据源服务器) /data/ rsync 主动方式
2 192.168.223.129(备份存储服务器) /databack/rsyncback

测试:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
主机:192.168.223.128    推送模式
[root@data128 ~]# cd  /data
[root@data128 data]# l 
-bash: l: command not found
[root@data128 data]# ls 
winner.txt
[root@data128 data]# ls 
winner.txt
[root@data128 data]# rsy
rsync     rsyslogd  
[root@data128 data]# rsync   -azP    /data/   root@192.168.223.129:/databack/rsyncback
sending incremental file list
./
.pwd.lock
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=1/3)
winner.txt
        4588 100%    0.00kB/s    0:00:00 (xfer#2, to-check=0/3)
 
sent 659 bytes  received 53 bytes  284.80 bytes/sec
total size is 4588  speedup is 6.44
[root@data128 data]
主机:192.168.223.129 主机测试
 
[root@databack129 ~]# cd   /databack/rsyncback/
[root@databack129 rsyncback]# ls 
winner.txt
[root@databack129 rsyncback]
 
主动获取模式测试:
在192.168.223.128 主机上创建新文件  
[root@data128 data]# touch {1,3,5,7,9,10}.txt
[root@data128 data]# ls 
10.txt  1.txt  3.txt  5.txt  7.txt  9.txt  winner.txt
[root@data128 data]
主机:192.168.223.129   获取数据
[root@databack129 rsyncback]# rsync   -azP   root@192.168.223.128:/data/  ./
receiving incremental file list
./
1.txt
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=6/9)
10.txt
           0 100%    0.00kB/s    0:00:00 (xfer#2, to-check=5/9)
3.txt
           0 100%    0.00kB/s    0:00:00 (xfer#3, to-check=4/9)
5.txt
           0 100%    0.00kB/s    0:00:00 (xfer#4, to-check=3/9)
7.txt
           0 100%    0.00kB/s    0:00:00 (xfer#5, to-check=2/9)
9.txt
           0 100%    0.00kB/s    0:00:00 (xfer#6, to-check=1/9)
 
sent 128 bytes  received 368 bytes  330.67 bytes/sec
total size is 4588  speedup is 9.25

从命令的执行过程中可以看出这个命令和scp非常相似,在拷贝过程中没有输入密码是因为两个主机之间做了免密码登录,而数据传输过程中也是使用了SSH传输协议。关于SSH免密码登录请自行搜索资料。

2.1 基于系统用户的备份脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#!/bin/bash
rsync -az --delete root@192.168.223.128:/data/   /databack/rsyncback/
tar czvf rsync-`date +%Y-%m-%d`.tar.gz  /databack/rsyncback/*  
 
执行情况:
[root@databack129 server]#   sh  -x  rsync.sh 
rsync -az --delete root@192.168.223.128:/data/ /databack/rsyncback/
++ date +%Y-%m-%d
tar czvf rsync-2017-09-16.tar.gz /databack/rsyncback/10.txt /databack/rsyncback/1.txt /databack/rsyncback/3.txt /databack/rsyncback/5.txt /databack/rsyncback/7.txt /databack/rsyncback/9.txt /databack/rsyncback/winner.txt
tar: 从成员名中删除开头的“/”
/databack/rsyncback/10.txt
/databack/rsyncback/1.txt
/databack/rsyncback/3.txt
/databack/rsyncback/5.txt
/databack/rsyncback/7.txt
/databack/rsyncback/9.txt
/databack/rsyncback/winner.txt
[root@databack129 server]
 
[root@databack129 server]# tar   xzvf  rsync-2017-09-16.tar.gz 
databack/rsyncback/10.txt
databack/rsyncback/1.txt
databack/rsyncback/3.txt
databack/rsyncback/5.txt
databack/rsyncback/7.txt
databack/rsyncback/9.txt
databack/rsyncback/winner.txt
[root@databack129 server]# ls 
databack  rsync-2017-09-16.tar.gz  rsync.sh  xtrabackupmysql.sh
[root@databack129 server]# cd  databack/rsyncback/
[root@databack129 rsyncback]# ls 
10.txt  1.txt  3.txt  5.txt  7.txt  9.txt  winner.txt
[root@databack129 rsyncback]#

2.2 基于系统用户的实时备份

   在实时备份中,我们会选用inotif做文件的监控,安装方式为源码包,需要gcc等安装环境,文件下载等根据上面的地址下载就可以,可以使用wget加地址下载,下面对下载和安装做相关的演示。

数据实时同步规划(rsync+系统用户)
主机序号 主机IP 备份目录 安装软件 同步方式
1 192.168.223.128(数据源服务器) /data/ rsync+inotify 主动方式
2 192.168.223.129(备份存储服务器) /databack/rsyncback
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
[root@databack129 install]# wget   http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
--2017-09-16 23:35:15--  http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
正在解析主机 github.com... 192.30.255.112, 192.30.255.113
正在连接 github.com|192.30.255.112|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 302 Found
位置:http://101.96.10.63/github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [跟随至新的 URL]
--2017-09-16 23:35:15--  http://101.96.10.63/github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
正在连接 101.96.10.63:80... 已连接。
已发出 HTTP 请求,正在等待回应... 301 Moved Permanently
位置:https://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [跟随至新的 URL]
--2017-09-16 23:35:16--  https://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
正在连接 github.com|192.30.255.112|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 302 Found
位置:https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [跟随至新的 URL]
--2017-09-16 23:35:18--  https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
正在解析主机 cloud.github.com... 54.192.75.93, 54.192.75.223, 54.192.75.185, ...
正在连接 cloud.github.com|54.192.75.93|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:358772 (350K) [null]
正在保存至: “inotify-tools-3.14.tar.gz”
 
31% [===============>                                    ] 113,669     36.5K/s eta(英国中部时36% [=================>                                  ] 130,053     35.6K/s eta(英国中部时45% [======================>                             ] 162,821     38.5K/s eta(英国中部时54% [===========================>                        ] 195,589     40.9K/s eta(英国中部时58% [=============================>                      ] 211,517     41.3K/s eta(英国中部时63% [================================>                   ] 227,901     33.1K/s eta(英国中部时68% [==================================>                 ] 244,285     28.3K/s eta(英国中部时72% [====================================>               ] 260,669     28.1K/s eta(英国中部时77% [=======================================>            ] 277,509     25.6K/s eta(英国中部时81% [=========================================>          ] 293,893     20.5K/s eta(英国中部时86% [===========================================>        ] 310,277     20.7K/s eta(英国中部时91% [==============================================>     ] 326,661     18.2K/s eta(英国中部时95% [================================================>   ] 343,045     17.9K/s eta(英国中部时100%[===================================================>] 358,772     17.6K/s eta(英国中部时100%[===================================================>] 358,772     17.6K/s   in 20s     
 
2017-09-16 23:35:40 (17.6 KB/s) - 已保存 “inotify-tools-3.14.tar.gz” [358772/358772])
编译安装
[root@databack129 inotify-tools-3.14]# ./configure &&make  &&make install
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking for gawk... gawk
checking whether make sets $(MAKE)... yes
checking whether make sets $(MAKE)... (cached) yes
checking for gcc... gcc
checking for C compiler default output file name... a.out
checking whether the C compiler works... yes
checking whether we are cross compiling... no
checking for suffix of executables... 
checking for suffix of object files... o
checking whether we are using the GNU C compiler... yes
checking whether gcc accepts -g... yes
checking for gcc option to accept ISO C89... none needed
checking for style of include used by
......
test -z "/usr/local/share/man/man1" || /bin/mkdir -p "/usr/local/share/man/man1"
 /usr/bin/install -c -m 644 inotifywait.1 inotifywatch.1 '/usr/local/share/man/man1'
make[2]: Leaving directory `/usr/install/inotify-tools-3.14/man'
make[1]: Leaving directory `/usr/install/inotify-tools-3.14/man'
make[1]: Entering directory `/usr/install/inotify-tools-3.14'
make[2]: Entering directory `/usr/install/inotify-tools-3.14'
make[2]: Nothing to be done for `install-exec-am'.
make[2]: Nothing to be done for `install-data-am'.
make[2]: Leaving directory `/usr/install/inotify-tools-3.14'
make[1]: Leaving directory `/usr/install/inotify-tools-3.14'
 
 
安装成功
将 /usr/local/bin/inotifywait等 相关命令加入系统环境变量或者通过软链接到/usr/bin/
[root@databack129 inotify-tools-3.14]# ln -s /usr/local/bin/*  /usr/bin/
[root@databack129 inotify-tools-3.14]# inotifywait   OK成功

 实时监控备份脚本

1
2
3
4
5
6
7
8
#/bin/bash
LocalPath=/data/ 
RemotrHost=root@192.168.223.129:/databin/
 
inotifywait -mrq -e modify,delete,create,attrib ${LocalPath} | while read D E F
        do
                /usr/bin/rsync -ahqzt --delete ${LocalPath}  $RemotrHost
        done

测试结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@data128 server]# sh  rsync.sh 
另开一个终端 
[root@data128 data]# ls 
10.txt  1.txt  3.txt  5.txt  7.txt  9.txt  winner.txt
[root@data128 data]# touch  {11,12,13,15}.txt
[root@data128 data]# echo  "rsync+inotify-tool"> {1,3,5}.txt
-bash: {1,3,5}.txt: ambiguous redirect
[root@data128 data]# echo  "rsync+inotify-tool"> 1.txt
[root@data128 data]# echo  "rsync+inotify-tool"> 2.txt
[root@data128 data]
 
129主机检查同步情况
[root@databack129 inotify-tools-3.14]# cd   /datab
databack/ databin/  
[root@databack129 inotify-tools-3.14]# cd   /databack/rsyncback/
[root@databack129 rsyncback]# ls 
10.txt  11.txt  12.txt  13.txt  15.txt  1.txt  3.txt  5.txt  7.txt  9.txt  winner.txt
[root@databack129 rsyncback]# cat  1.txt 
rsync+inotify-tool
[root@databack129 rsyncback]# cat  3.txt 
[root@databack129 rsyncback]# cat  5.txt 
[root@databack129 rsyncback]# cat  2.txt 
rsync+inotify-tool
[root@databack129 rsyncback]#

  经过验证基于系统的文件实时同步是不存在任何问题的,实现了我们初级的需求与规划,接下可以配置基于rsync用户的文件实时同步服务。

3、基于rsyncd服务的文件实时同步

数据实时同步规划(rsync+rsync用户)
主机序号 主机IP 备份目录 安装软件 同步方式
1 192.168.223.128(数据源服务器) /data/ rsync+inotify 推送
2 192.168.223.129(备份存储服务器) /databack/rsyncback rsyncd

192.168.223.128主机需要安装rsync+inotify,我们在测试上面的服务时已经安装,所以不需要再安装,更改相关的配置即可。192.168.223.129需要安装和配置rsyncd,而rsync服务是由xinetd服务管理,所以我们需要安装xinetd服务。

1
2
3
4
5
6
7
8
9
10
11
yum  install   xinetd
 
[root@data128]# yum  install   xinetd  -y
已加载插件:fastestmirror
设置安装进程
Loading mirror speeds from cached hostfile
 * base: mirrors.163.com
 * extras: mirror.lzu.edu.cn
 * updates: centos.ustc.edu.cn
包 2:xinetd-2.3.14-40.el6.x86_64 已安装并且是最新版本
无须任何处理

启动rsync服务需要更改相关配置 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@databack129 rsyncback]# vi /etc/xinetd.d/rsync
# default: off
# description: The rsync server is a good addition to an ftp server, as it \
#       allows crc checksumming etc.
service rsync
{
        disable = no           #将这里的yes更改为no
        flags           = IPv6
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/bin/rsync
        server_args     = --daemon
        log_on_failure  += USERID
}
 
启动服务
[root@databack129 rsyncback]# /etc/init.d/xinetd restart
停止 xinetd:                                              [失败]
正在启动 xinetd:                                          [确定]
或者以下方式
[root@databack129 rsyncback]# rsync --daemon --config=/etc/rsyncd.conf
Failed to parse config file/etc/rsyncd.conf
 
默认情况下/etc/rsyncd.conf该文件不存在需要我们手动去创建

创建rsyncd.conf文件 以及其相关介绍

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
uid =nobody                              #运行进程的身份
gid =nobody                              #运行进程的组
address =192.168.223.129                          #监听IP
port =873                           #监听端口
hosts allow =192.168.223.128                    #允许同步客户端的IP地址,可以是网段,或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0
use chroot =yes                                #是否囚牢,锁定家目录,rsync被黑之后,黑客无法再rsync运行的家目录之外创建文件,选项设置为yes
max connections =5                             #最大连接数
pid file =/var/run/rsyncd.pid          #进程PID,自动生成
lock file =/var/run/rsync.lock             #指max connectios参数的锁文件
log file =/var/log/rsyncd.log          #日志文件位置
motd file =/etc/rsyncd.motd          #客户端登陆之后弹出的消息,需要创建
  
[databack]                 #共享模块名称
path =/databack/rsyncback         #路径
comment =used for web-data root    #描述
readonly yes                    #只读方式(只可以下载)
list =yes                       #是否允许查看模块信息
auth users = rsyncuser                #备份的用户,和系统用户无关
secrets file =/etc/rsync.passwd     #存放用户的密码文件,格式是  用户名:密码
创建提示文件和用户密码
[root@databack129 rsyncback]# vi   /etc/rsync.passwd
rsyncuser:password123
[root@databack129 rsyncback]# cat  /etc/rsync.passwd
rsyncuser:password123
[root@databack129 rsyncback]# chmod 600 /etc/rsync.passwd #目录权限必须是700或者600,否则的话身份验证会失效,设置rsync user的时候
[root@databack129 rsyncback]#
启动服务测试:
[root@databack129 rsyncback]# rsync --daemon --config=/etc/rsyncd.conf
或者
[root@databack129 rsyncback]# /etc/init.d/xinetd restart
 
[root@databack129 rsyncback]# rsync --daemon --config=/etc/rsyncd.conf
[root@databack129 rsyncback]# netstat -antup | grep :873
tcp        0      0 192.168.223.129:873         0.0.0.0:*                   LISTEN      7299/rsync

测试文件同步服务(192.168.223.128上面推送)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
[root@data128 data]# rsync  -azp /data/  rsyncuser@192.168.223.129::databack
Welcome to Backup Server
 
Password:                     #输入密码password123
 
[root@data128 data]# ls 
10.txt          DIR_COLORS               init.conf       mtab            securetty
11.txt          DIR_COLORS.256color      inittab         my.cnf          services
12.txt          DIR_COLORS.lightbgcolor  inputrc         my.cnf.rpmnew   sestatus.conf
13.txt          dracut.conf              issue           networks        shadow
15.txt          environment              issue.net       nsswitch.conf   shadow-
1.txt           ethers                   kdump.conf      passwd          shells
2.txt           exports                  krb5.conf       passwd-         statetab
3.txt           favicon.png              ld.so.cache     printcap        sudo.conf
5.txt           filesystems              ld.so.conf      profile         sudoers
7.txt           fstab                    libaudit.conf   protocols       sudo-ldap.conf
9.txt           gai.conf                 libuser.conf    rc              sysctl.conf
adjtime         group                    localtime       rc.local        system-release
aliases         group-                   login.defs      rc.sysinit      system-release-cpe
aliases.db      grub.conf                logrotate.conf  redhat-release  virc
asound.conf     gshadow                  magic           resolv.conf     wgetrc
bashrc          gshadow-                 mailcap         rpc             winner.txt
centos-release  host.conf                man.config      rsyncd.conf     xinetd.conf
crypttab        hosts                    mime.types      rsyncd.secrets  yum.conf
csh.cshrc       hosts.allow              mke2fs.conf     rsyslog.conf
csh.login       hosts.deny               motd            rwtab
 
 
192.168.223.129主机上检查推送结果
[root@databack129 rsyncback]# ls 
10.txt          DIR_COLORS               init.conf       mtab            securetty
11.txt          DIR_COLORS.256color      inittab         my.cnf          services
12.txt          DIR_COLORS.lightbgcolor  inputrc         my.cnf.rpmnew   sestatus.conf
13.txt          dracut.conf              issue           networks        shadow
15.txt          environment              issue.net       nsswitch.conf   shadow-
1.txt           ethers                   kdump.conf      passwd          shells
2.txt           exports                  krb5.conf       passwd-         statetab
3.txt           favicon.png              ld.so.cache     printcap        sudo.conf
5.txt           filesystems              ld.so.conf      profile         sudoers
7.txt           fstab                    libaudit.conf   protocols       sudo-ldap.conf
9.txt           gai.conf                 libuser.conf    rc              sysctl.conf
adjtime         group                    localtime       rc.local        system-release
aliases         group-                   login.defs      rc.sysinit      system-release-cpe
aliases.db      grub.conf                logrotate.conf  redhat-release  virc
asound.conf     gshadow                  magic           resolv.conf     wgetrc
bashrc          gshadow-                 mailcap         rpc             winner.txt
centos-release  host.conf                man.config      rsyncd.conf     xinetd.conf
crypttab        hosts                    mime.types      rsyncd.secrets  yum.conf
csh.cshrc       hosts.allow              mke2fs.conf     rsyslog.conf
csh.login       hosts.deny               motd            rwtab
 
删除192.168.223.128下/data数据

实时同步测试

客户端创建密码文件 (192.168.223.128)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@data128 data]# vi /etc/rsync_client.pwd
password123
更改权限
[root@data128 data]# chmod 600 /etc/rsync_client.pwd
 
执行以下命令
 
[root@data128 data]# rsync  -azP  --delete  --password-file=/etc/rsync_client.pwd  /data/  rsyncuser@192.168.223.129::databack
这时候客户端就不需要输入密码了
编写实时监控同步脚本
 
#/bin/bash
LocalPath=/data/ 
RemotrHost=root@192.168.223.129:/databack/rsyncback/
 #inotifywait   -mrq -e create,move,delete,modify  /data/bin* 
 
inotifywait -mrq -e modify,delete,create,attrib ${LocalPath} | while read D E F
        do
              
 rsync  -azP  --delete  --password-file=/etc/rsync_client.pwd  /data/  rsyncuser@192.168.223.129::databack
 
 
 done
 
  
 执行脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@data128 server]# sh  -x   rsyncinotify.sh  
另一个中端执行cp  /etc/*  /data/   
total size is 838095  speedup is 591.88
read D E F
rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ rsyncuser@192.168.223.129::databack
Welcome to Backup Server
sending incremental file list
sent 1408 bytes  received 8 bytes  944.00 bytes/sec
total size is 838095  speedup is 591.88
read D E F
rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ rsyncuser@192.168.223.129::databack
Welcome to Backup Server
sending incremental file list
sent 1408 bytes  received 8 bytes  2832.00 bytes/sec
total size is 838095  speedup is 591.88
read D E F
rsync -azP --delete --password-file=/etc/rsync_client.pwd /data/ rsyncuser@192.168.223.129::databack

192.168.223.129 主机的数据情况

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
[root@databack129 rsyncback]# ls 
adjtime                  init.conf       protocols
aliases                  inittab         rc
aliases.db               inputrc         rc.local
asound.conf              issue           rc.sysinit
bashrc                   issue.net       redhat-release
centos-release           kdump.conf      resolv.conf
crypttab                 krb5.conf       rpc
csh.cshrc                ld.so.cache     rsync_client.pwd
csh.login                ld.so.conf      rsyncd.conf
DIR_COLORS               libaudit.conf   rsyncd.secrets
DIR_COLORS.256color      libuser.conf    rsyslog.conf
DIR_COLORS.lightbgcolor  localtime       rwtab
dracut.conf              login.defs      securetty
environment              logrotate.conf  services
ethers                   magic           sestatus.conf
exports                  mailcap         shadow
favicon.png              man.config      shadow-
filesystems              mime.types      shells
fstab                    mke2fs.conf     statetab
gai.conf                 motd            sudo.conf
group                    mtab            sudoers
group-                   my.cnf          sudo-ldap.conf
grub.conf                my.cnf.rpmnew   sysctl.conf
gshadow                  networks        system-release
gshadow-                 nsswitch.conf   system-release-cpe
host.conf                passwd          virc
hosts                    passwd-         wgetrc
hosts.allow              printcap        xinetd.conf
hosts.deny               profile         yum.conf
[root@databack129 rsyncback]# ls  |wc
     87      87     888
      
 删除同步:
 [root@data128 data]# rm  -f  ./*
[root@data128 data]
 
[root@databack129 rsyncback]# ls   #结果为空
[root@databack129 rsyncback]#

  到这里基础的数据同步基本上做完,但是忽略部分数据以及脚本日志信息还需要继续完善,后期持续完善!




本文转自 tianya1993 51CTO博客,原文链接:http://blog.51cto.com/dreamlinux/1965970,如需转载请自行联系原作者