使用Lsyncd同步本地文件夹

场景

主机挂载了分布式文件系统，由于需要更换分布式文件系统，需要将分布式文件系统内2T的数据拷贝到主机本地，并实现增量同步。试了几种工具，感觉还是lsyncd最简单，最适合本地文件夹之间的增量同步，甚至可以做到实时同步。

具体步骤

1.安装lsyncd，修改inotify触发机制监控的文件数。

yum install lsyncd
echo fs.inotify.max_user_watches=50000000 >> /etc/sysctl.conf
sysctl -p

如果fs.inotify.max_user_watches值不够大，会报错：

Fri Aug 14 15:06:27 2020 Error: Terminating since out of inotify watches.
Consider increasing /proc/sys/fs/inotify/max_user_watches

2.编辑/etc/lsyncd.conf，内容如下：

settings {statusFile = "/var/log/lsyncd/lsyncd.stat",statusInterval = 1,logfile ="/var/log/lsyncd/lsyncd.log",
}sync{default.rsync,source = "/src",target = "/dst",delay = 300,rsync = {bwlimit = 512,}
}

整个配置文件分为两部分，settings为全局变量，可以有多个sync，sync之间是互相独立的，每个sync都有不同的源或目的文件夹。
statusFile记录了Inotify和具体同步的文件夹。sync有那么几种模式，本地文件夹之间同步可以选择default.direct或default.rsync。delay=300表示当src文件夹内容进行了修改，300秒之后开始同步到dst文件夹，delay值默认是15秒，可以根据需求调整。bwlimit=512表示同步的最大带宽为512kb/s，这是rsync的一个参数，所以被包含在rsync内。
3.创建文件夹/var/log/lsyncd，/dst。
4.启动lsyncd。

注意

如果数据量很大，比如T级，lsyncd的启动时间会比较长，如下图日志所示，等了半小时才开始同步数据。最后，对于这种工具，根据工作需要即学即用就行。

使用Lsyncd同步本地文件夹相关推荐

igs无法分配驱动器映射表_如何同步本地文件到网络驱动器/NAS？
在我们的生活中,有多种原因促使我们需要将文件夹同步到(网络驱动器)共享文件夹或NAS.例如,想要脱机查看先前可用的文件夹.同步文件夹的作用:自动保存两个或多个相同的文件夹,并将所有更改的文件夹从源目 ...
使用Git将本地文件夹同步至github
初次通过git将本地文件夹同步至github仓库,记录过程以作总结. 第一部分分步骤描述操作及界面,第二部分记录遇到的问题及参考的解决方法. 一.操作过程 Step 1 创建新仓库在Github上创 ...
outlook邮箱邮件与企业邮箱同步(outlook本地文件夹邮件，web邮箱里没有)
用惯了outlook2010, 问题:今天将邮件放到自定义文件夹后,发现在web邮箱中看不到邮件了.不能同步到企业邮箱. 解决忙了一天,才知道是账户类型问题,pop3类型,只下载不上传.所以outlo ...
群晖增量同步Linux文件夹,用自定义脚本实现群晖NAS中本地文件夹之间的增量同步复制...
用自定义脚本实现群晖NAS中本地文件夹之间的增量同步复制 2021-02-21 15:39:44 60点赞 646收藏 52评论使用情景:群晖DS918+,两块12T RAID1存重要数据,1块2T ...
linux 文件夹同步备份,SyncToy实现本地文件夹同步备份
SyncToy实现本地文件夹同步备份一.下载SyncToy SyncToy 2.1是一个免费的应用程序,它可以同步文件和文件夹到不同的位置.典型用途包括共享文件,如照片.与其他计算机和创建文件和文件 ...
Windows下配置Git连接上github, 并将本地文件夹同步（加入了个人注释）
默认条件: 安装好了Git (在虚拟环境/相关环境下,打出git进行检验) 拥有Github账号 1. 检查本机是否有ssh key设置,打开Git bash客户端(就是powershell): $ ...
linux+ftp+同步文件夹,linux – 使用lftp将本地文件夹与ftp文件夹同步的语法？
我想将两个文件夹相互同步.它应该有两种方式,始终保持文件夹最新(我使用常规cronjob).但是,首先我没有让双向文件传输工作(它只是从ftp下载而不是相反). 其次,它从ftp下载整个内容,即使已经 ...
Linux通过lftp反向镜像实现本地文件夹同步到远程FTP服务器
同步脚本 HOST="ip:port" # 远程FTP服务器IP和端口 USER="username" # 登录远程FTP服务器帐号 PASS="us ...
服务器文件夹共享到本地,云服务器共享本地文件夹
云服务器共享本地文件夹内容精选换一换当您成功创建私有镜像后,镜像的状态为"正常",您可以使用该镜像创建服务器实例或云硬盘,也可以将镜像共享给其他帐号,或者复制镜像到其他区域. ...

使用Lsyncd同步本地文件夹

场景

具体步骤

注意

使用Lsyncd同步本地文件夹相关推荐

最新文章

热门文章