rsync使用介绍

古之立大事者,不惟有超世之才,亦必有坚忍不拔之志。这篇文章主要讲述rsync使用介绍相关的知识,希望能为你提供帮助。
1.rsync是什么??rsync,英文全称是 remote synchronize, 是一款实现远程同步功能的免费软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync 是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过 ssh 方式来传输文件。 甚至还可以实现只同步一个文件里有变化的内容部分,所以可以实现快速的同步备份数据。
同时, rsync 还可以实现同步本地数据、删除文件和目录的功能。一个 rsync 相当于 scp、 cp、 rm,并且还在性能上优于它们每一个命令。?
2.应用场景(1)服务器之间的数据同步(cron+rsync)
(2)把所有客户服务器数据同步到备份服务器(cron+rsync)
(3)与 inotify 或 sersync 配合,做实时的数据同步(rsync+inotify/sersync)
3.常用命令参数信息

(1)参数说明
-v:--verbose 详细模式输出
-z:--compress 对备份的文件在传输的过程中进行压缩处理
-a:--archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于参数:-vrztopg
-r:--recursive 对子目录以递归模式处理。
-t:--times 保持文件时间信息
-o:--owner 保持文件属主信息。
-p:--perms 保持文件权限。
-g:--group 保持文件属组信息
-D:--devices 保持设备文件信息
-l:--links 保留软链结。
-e:--rsh=command 指定使用 rsh、 ssh 方式进行数据同步
--exclude=PATTERN 指定排除不需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--bwlimit=RATE 限制传输速率, MB
(2)工作中常用参数组合:-avz
(3)参数使用演示
a.使用--bwlimit参数限制传输带宽
rsync -avz --bwlimit=10 -e ssh /etc/hosts root@192.168.166.100::tmp

4.rsync部署4.1服务端配置
  • 下载安装软件
yum install -y rsync

rpm -qa|grep rsync

  • 编写配置文件
vi /etc/rsyncd.conf
uid = rsync--- 指定管理备份目录的用户
gid = rsync--- 指定管理备份目录的用户组
port = 873--- 定义rsync备份服务的网络端口号
fake super = yes--- 将rsync虚拟用户伪装成为一个超级管理员用户
use chroot = no--- 和安全相关的配置
max connections = 200--- 最大连接数同时只能有200个客户端连接到备份服务器
timeout = 300--- 超时时间(单位秒)
pid file = /var/run/rsyncd.pid--- 记录进程号码信息 1.让程序快速停止进程 2. 判断一个服务是否正在运行
lock file = /var/run/rsync.lock--- 锁文件
log file = /var/log/rsyncd.log--- rsync服务的日志文件 用于排错分析问题
ignore errors--- 忽略传输中的简单错误
read only = false--- 指定备份目录是可读可写
list = false--- 使客户端可以查看服务端的模块信息
hosts allow = 192.168.166.0/24--- 允许传输备份数据的主机(白名单)
hosts deny = 0.0.0.0/32--- 禁止传输备份数据的主机(黑名单)
auth users = rsync_backup--- 指定认证用户
secrets file = /etc/rsync.password--- 指定认证用户密码文件 用户名称:密码信息
[backup]--- 模块信息
comment = "backup dir by oldboy" --- 描述
path = /backup--- 模块中配置参数 指定备份目录

  • 创建rsync服务的虚拟用户
useradd rsync -M -s /sbin/nologin

  • 创建备份服务认证密码文件
echo "rsync_backup:123456" > /etc/rsync.password
chmod 600 /etc/rsync.password#更改权限

  • 创建备份目录并修改属主属组信息
mkdir /backup
chown rsync.rsync /backup/#更改主属组信息

  • 启动备份服务
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd

4.2客户端配置
  • 下载安装软件
yum install -y rsync

  • 创建一个秘码文件
echo "123456" > /etc/rsync.password
chmod 600 /etc/rsync.password

  • 进行免交互传输数据测试
#推送
rsync -avz /etc/hosts rsync_backup@192.168.166.100::backup --password-file=/etc/rsync.password
#拉取
rsync -avz rsync_backup@192.168.166.100::backup /tmp/ --password-file=/etc/rsync.password

5.rsync服务简单应用5.1多模块功能配置
vi /etc/rsyncd.conf配置文件
[backup]
path = /backup
[dba]
path = /dba
[dev]
path = /devdata

5.2文件排除及无差异同步
rsync排除的相关参数:
--exclude=PATTERN (排除较少文件时使用)
--exclude=FILE (排除较多文件时使用,可以将文件名写入一个文件中,再指定排除)
客户端:
排除单个文件
rsync -avz /backup --exclude=a.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
排除多个目录文件
(1)排除多个不连续的文件
rsync -avz /backup --exclude=a.txt,b.txt,c.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
rsync -avz /backup --exclude=a.txt --exclude=b.txt --exclude=c.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
(2)排除多个连续的文件
rsync -avz /backup--exclude=a..g rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
(3)通过指定文件来排除多个文件
rsync -avz /backup --exclude-from=/tmp/exclude.txt rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password
#exclude.txt中需要写入排除的文件名,并且最好指定exclude.txt的全路径是什么
(4)完全同步:无差异同步(客户端有,服务端就有;客户端没有,服务端就没有)---谨慎使用
rsync -avz --delete /backup rsync_backup@192.168.166.100::backup/ --password-file=/etc/rsync.password

服务端:
在服务端排除文件--通过修改配置文件rsyncd.conf; 增加:exclude=a.txt b.txt

6.rsync优缺点
  • 优点:
  • 增量备份,支持socket(daemon),集中备份(支持推拉,都是以客户端为参照物)
  • 远程shell通道模式还可以加密(ssh)传输,socket(daemon)需要加密传输,可以利用vpn服务或ipsec服务
  • 缺点:
  • 大量小文件同步的时候,比对时间较长,有的时候,rsync进程可能会停止
  • 同步大文件,10G这样的大文件有时也会出现问题:中断。未完整同步前,是隐藏文件,可以通过续传等参数实现传输。一次性远程拷贝可以用scp
7.rsync故障排查思路
  • 查看rsync服务配置文件路径是否正确,正确的默认路径为:/etc/rsyncd.conf;
  • 查看配置文件host allow,host deny,允许的ip网段是否为允许客户端访问的ip网段;
  • 查看配置文件中path参数里的路径是否存在,权限是否正确(正常应为配置文件中的UID参数对应的属主和组);
  • 查看rsync服务是否启动。查看命令为:ps -ef |grep rsync。端口是否存在:netstat -lnp |grep 873;
  • 查看iptables防火墙和selinux是否开启允许rsync服务通过,也可以考虑关闭iptables和selinux;
  • 查看服务端rsync设置的密码未见是否为600权限,密码文件格式是否正确,正确格式为 用户名:密码,文件路径和配置文件里的secrect files 参数对应;
  • 如果是推送数据,要查看下,配置rsyncd.conf文件中用户是否对模块下目录有可读可写的权限。

【rsync使用介绍】


    推荐阅读