博客

Rsync+Sersync实时同步

  • Post author:
  • Post category:其他



Rsync+Sersync实时同步


一、基本介绍


1.什么是Rsync？

Rsync（Remote Synchronize）是一款开源的、快速的、多功能的、可以实现全量及增量的本地或远程数据同步备份的优秀工具，并且支持多种操作系统平台运行。

官网文档：


https://rsync.samba.org/ftp/rsync/rsync.html


2.Rsync简介

Rsync具有本地与远程两台主机之间的数据快速复制同步镜像、远程备份等功能，该功能类似scp，但是优于scp功能，还具有本地不同分区目录之间全量及增量复制数据。

Rsync同步数据镜像时，通过“quick check”算法，仅同步大小或最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性变化的同步，所以可以实现快速同步。

rsync 具有如下的基本特性：

  1. 可以镜像保存整个目录树和文件系统

  2. 可以很容易做到保持原来文件的权限、时间、软硬链接等

  3. 无须特殊权限即可安装

  4. 优化的流程，文件传输效率高

  5. 可以使用 rsh、ssh 方式来传输文件，当然也可以通过直接的 socket 连接

  6. 支持匿名传输，以方便进行网站镜象


3.Rsync命令格式

本地:  rsync [OPTION…] SRC… [DEST] 通过shell远程访问:  拉取: rsync [OPTION…] [USER@]HOST:SRC… [DEST]  推送: rsync [OPTION…] SRC… [USER@]HOST:DEST 通过rsync守护进程访问:  拉取: rsync [OPTION…] [USER@]HOST::SRC… [DEST]          rsync [OPTION…] rsync://[USER@]HOST[:PORT]/SRC… [DEST]  推送: rsync [OPTION…] SRC… [USER@]HOST::DEST          rsync [OPTION…] SRC… rsync://[USER@]HOST[:PORT]/DEST


4.什么


Sersync


？

sersync是基于inotify开发的，类似于inotify-tools的工具，

Sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录，因此效率更高。


主要应用场景为数据体积大，并且文件很多。


网站：



https://code.google.com



（需要×××）


5.架构关系

IP 系统 服务
192.168.0.103 CentOS 6.8 x86_64 Rsync client + Sersync server
192.168.0.132 CentOS 6.8 x86_64 Rsync server


6.架构图



wKiom1jcp96zsK3fAAMVGd1h1GU976.jpg-wh_50


二、Rsync编译安装

说明：当然你也可以使用“yum -y install rsync”命令进行安装，直接进入Rsync server 配置环节。


1.检查本机是否存在

[root@kry132 ~]# rpm -qa  rsync

rsync-3.0.6-12.el6.x86_64


2.卸载

[root@kry132 ~]# yum  remove rsync

说明：需要安装最新的版本就需要卸载老版本。


3、下载rsync软件

[root@kry132 ~]# cd  /usr/local/src/

[root@kry132 src]# wget

https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz


4.解压包

[root@kry132 src]# tar zxvf rsync-3.1.2.tar.gz


5.创建程序安装目录，并编译安装

[root@kry132 src]# cd  rsync-3.1.2

[root@kry132 rsync-3.1.2]# mkdir /usr/local/rsync

[root@kry132 rsync-3.1.2]# ./configure –prefix=/usr/local/rsync

[root@kry132 rsync-3.1.2]# make && make install


6.配置环境变量

[root@kry132 ~]# vim  /etc/profile.d/rsync.sh

#!/bin/sh

export PATH=$PATH:/usr/local/srync/bin


7.建立软连接

[root@kry132 ~]# ln -s  /usr/local/rsync/bin/rsync /usr/bin/rsync


8.查看当前版本

[root@kry132 ~]# rsync –version

rsync  version 3.1.2  protocol version 31


三、Rsync server配置


1.编辑配置文件

[root@kry132 ~]# vim /etc/ rsyncd.conf

uid = rsync

gid = rsync

port = 873

use chroot = on

max connections = 200

timeout = 120

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsyncd.lock

log file = /var/log/rsyncd.log

[bakup]

path = /data/bakup

read only = false

list = false

hosts allow = 192.168.0.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_bakup

secrets file = /etc/rsyncd.password



2.创建密码文件

[root@kry132 ~]# vim  /etc/rsyncd.password

rsync_bakup:4297f44b13955235245b2497399d7a93

说明：定义格式 用户:密码


3.修改密码文件权限

[root@kry132 ~]# chmod 600 /etc/rsyncd.password


4.创建Rsync server服务启动的系统账户

[root@kry132 ~]# useradd rsync -M  -s  /bin/nologin


5.创建数据存放目录

[root@kry132 ~]# mkdir -p  /data/bakup


6.修改目录权限

[root@kry132 ~]# chown rsync.rsync /data/bakup



7.启动服务

[root@kry132 ~]# rsync –daemon

说明：如果配置文件路径不是/etc/rsyncd.conf，启动是需要使用“–config” 参数指定配置文件。


8.查看服务是否启动

[root@kry132 ~]# ps  axu |grep rsync

root      9198  0.0  0.0 107652   672 ?        Ss   19:41   0:00 rsync –daemon –config /etc/rsync/rsyncd.conf

root      9205  0.0  0.0 103308   848 pts/0    S+   19:44   0:00 grep rsync

[root@kry132 ~]# netstat -nlp |grep 873

tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      9198/rsync

tcp        0      0 :::873                      :::*                        LISTEN      9198/rsync


四、客户端配置


1.创建密码文件

[root@Kry103 ~]# vim  /etc/rsyncd.password

4297f44b13955235245b2497399d7a93


2.修改文件权限

[root@Kry103 ~]# chmod 600 /etc/rsyncd.password


3.安装客户端

[root@Kry103 ~]# yum  -y install rsync

说明：如果客户端存在，跳过该步骤。


五、测试


1.客户端上推送数据

[root@Kry103 ~]# ll test.txt

-rw-r–r–. 1 kry kry 13 Mar 24 15:55 test.txt

[root@Kry103 ~]# rsync -avzP test.txt  rsync_bakup@192.168.0.132::bakup –password-file=/etc/rsyncd.password

sending incremental file list

test.txt

11 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/1)

sent 91 bytes  received 27 bytes  236.00 bytes/sec

total size is 11  speedup is 0.09


2.服务端查看文件是否推送成功

[root@kry132 bakup]# ll

total 4

-rw-r–r–. 1 rsync rsync 13 Mar 24 15:55 test.txt


3.从服务端拉取数据

[root@Kry103 ~]# ll  /tmp/

total 0

[root@Kry103 ~]#  rsync -avzP rsync_bakup@192.168.0.132::bakup  /tmp –password-file=/etc/rsyncd.password

receiving incremental file list

./

test.txt

13 100%   12.70kB/s    0:00:00 (xfer#1, to-check=7/17)

sent 64 bytes  received 419 bytes  966.00 bytes/sec

total size is 13981  speedup is 28.95


4.查看拉取的文件

[root@Kry103 ~]# ll  /tmp/

total 4

-rw-r–r–. 1 kry kry 13 Mar 24 15:55 test.txt

说明：文件的属主组跟推送时保持一直。


六、安装配置sersync

1.下载地址

[root@Kry103 ~]# cd  /usr/local/src/

[root@Kry103 src]# wget


https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz


2.解压软件包

[root@Kry103 src]# tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz


3.创建目录结构

[root@Kry103 src]# mkdir /usr/local/sersync

[root@Kry103 src]# mkdir /usr/local/sersync/conf

[root@Kry103 src]# mkdir /usr/local/sersync/logs

[root@Kry103 src]# mkdir /usr/local/sersync/bin


4.移动文件

[root@Kry103 src]# mv  GNU-Linux-x86/sersync2 /usr/local/sersync/bin/

[root@Kry103 src]# mv  GNU-Linux-x86/confxml.xml /usr/local/sersync/conf


5.配置环境变量

[root@Kry103 conf]# vim  /etc/profile.d/sersync.sh

[root@Kry103 conf]# source /etc/profile.d/sersync.sh


6.配置

[root@Kry103 src]# cd  /usr/local/sersync/conf

[root@Kry103 conf]# cp confxml.xml confxml.xml.bak

[root@Kry103 conf]# vim  confxml.xml

<?xml version=”1.0″ encoding=”ISO-8859-1″?>

<head version=”2.5″>

# 设置本地IP和端口

<host hostip=”localhost” port=”8008″></host>

# 开启DUBUG模式

<debug start=”false”/>

# 开启xfs文件系统

<fileSystem xfs=”false”/>

# 同步时忽略推送的文件(正则表达式),默认关闭

<filter start=”false”>

<exclude expression=”(.*)\.svn”></exclude>

<exclude expression=”(.*)\.gz”></exclude>

<exclude expression=”^info/*”></exclude>

<exclude expression=”^static/*”></exclude>

</filter>

# 设置要监控的事件

<inotify>

<delete start=”false”/>

<createFolder start=”true”/>

<createFile start=”false”/>

<closeWrite start=”true”/>

<moveFrom start=”true”/>

<moveTo start=”true”/>

<attrib start=”false”/>

<modify start=”false”/>

</inotify>

<sersync>

# 本地监视目录路径

<localpath watch=” /data/bakup/”>

#定义同步Server ip和模块

<remote ip=”192.168.0.132″ name=”bakup”/>

<!–<remote ip=”192.168.8.39″ name=”tongbu”/>–>

<!–<remote ip=”192.168.8.40″ name=”tongbu”/>–>

</localpath>

<rsync>

# rsync指令参数

<commonParams params=”-artuz”/>

# rsync同步认证

<auth start=”true” users=”rsync_bakup” passwordfile=”/etc/rsyncd.password”/>

# 设置rsync远程服务端口，非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口)

<userDefinedPort start=”false” port=”874″/><!– port=874 –>

# 设置超时时间

<timeout start=”ture” time=”100″/><!– timeout=100 –>

# 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书

<ssh start=”false”/>

</rsync>

# sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。

<failLog path=”/usr/local/sersync/logs/rsync_fail_log.sh” timeToExecute=”60″/><!–default every 60mins execute once–>

# 设置rsync定时传输，默认关闭

<crontab start=”false” schedule=”600″><!–600mins–>

<crontabfilter start=”false”>

<exclude expression=”*.php”></exclude>

<exclude expression=”info/*”></exclude>

</crontabfilter>

</crontab>

# 设置sersync传输后调用name指定的插件脚本，默认关闭

<plugin start=”false” name=”command”/>

</sersync>

# 插件脚本范例

<plugin name=”command”>

<param prefix=”/bin/sh” suffix=”” ignoreError=”true”/> <!–prefix /opt/tongbu/mmm.sh suffix–>

<filter start=”false”>

<include expression=”(.*)\.php”/>

<include expression=”(.*)\.sh”/>

</filter>

</plugin>

# 插件脚本范例

<plugin name=”socket”>

<localpath watch=”/opt/tongbu”>

<deshost ip=”192.168.138.20″ port=”8009″/>

</localpath>

</plugin>

<plugin name=”refreshCDN”>

<localpath watch=”/data0/htdocs/cms.xoyo.com/site/”>

<cdninfo domainname=”ccms.chinacache.com” port=”80″ username=”xxxx” passwd=”xxxx”/>

<sendurl base=”http://pic.xoyo.com/cms”/>

<regexurl regex=”false” match=”cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/p_w_picpaths”/>

</localpath>

</plugin>

</head>


7.启动

[root@Kry103 conf]# sersync2 -d -r -o /usr/local/sersync/conf/confxml.xml

说明：还有些其他参数，使用“-h”选项查看。


七、测试


1.创建

[root@Kry103 ~]# cd  /data/bakup/

[root@Kry103 bakup]#  for f in `seq 10`;do touch $f;done


2.检查数据是否同步Rsync server

[root@kry132 ~]# ll  /data/bakup/

total 0

-rw——-. 1 rsync rsync 0 Mar 29 17:04 1

-rw——-. 1 rsync rsync 0 Mar 29 17:04 10

-rw——-. 1 rsync rsync 0 Mar 29 17:04 2

-rw——-. 1 rsync rsync 0 Mar 29 17:04 3

-rw——-. 1 rsync rsync 0 Mar 29 17:04 4

-rw——-. 1 rsync rsync 0 Mar 29 17:04 5

-rw——-. 1 rsync rsync 0 Mar 29 17:04 6

-rw——-. 1 rsync rsync 0 Mar 29 17:04 7

-rw——-. 1 rsync rsync 0 Mar 29 17:04 8

-rw——-. 1 rsync rsync 0 Mar 29 17:04 9

数据镜像实时同步成功,完章。有什么不对的地方还希望在评论中指出。感谢各位的阅读。

转载于:https://blog.51cto.com/scorpions/1911764


关闭菜单