分类目录:数据同步

以下是分类 数据同步 下的所有文章

饿了么异地双活数据库实战

一、多活的难点 我们先来看一下多活的第一个难点:要考虑做多活到底是同城的多活还是异地的多活。 跨地域网络延时是现阶段很难突破的点,因为饿了么面临的是异地的多活,所以我们需要基于延时这个前提来考虑方案。 从北京到上海中间有30毫秒的延迟,这个会带来什么问题?我们接下来会讲。 上图是同城和异地多活……

rsync+inotify实现数据自动同步

rsync简介 rsync是一个远程数据同步工具,可通过lan/wan快速同步多台主机间的文件。它使用所谓的“rsync演算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。所以通常可以作为备份工具来使用。 运行rsync server的机器也叫backup server,一个……

lsync+sync 做服务器文件同步

服务器上很多时候需要多个文件同步其实可以用lsync代替计划任务来完成这份工作,本文只是lsync的简单应用。 有两台机器192.168.1.186和192.168.1.187, 186配置rsync服务可以接受187上推送过来的数据进行数据同步 187上的配置 安装lsync yum install –y gcc libxml2 libxml2-devel # wget http://lsyncd.google……

csync+lsync 实时双向批量同步小文件

环境 ubuntu 12.04 1) 两台机器安装配置: apt-get install xinetd csync2 lsyncd cat /etc/xinetd.d/csync2            service csync2        {            disable = no            port = 30865            socket_type = stream            protocol = tcp            wait = no            us……

Linux下用inotify-tool实时监控服务器文件

说明: 服务器系统:CentOS 文件目录:/home/web/osyunwei.com 实现目的: 当/home/web/osyunwei.com下面除过cache目录之外,任何文件发生变化时,记录日志并保存。 具体操作: 一、安装Inotify-tools工具 1、查看服务器内核是否支持inotify ll /proc/sys/fs/inotify #列出文件目录,出现下面的内容,说明服务器内核支持i……

利用rsync进行多台服务器之间的文件同步

1 概述 由于软件下载包在万网服务器(55,windows)上打包,而为用户提供的软件下载服务器为(联通和移动62),所以需要在55服务器上的下载包文件变化时,同时要同步到联通(windows)和移动62(windows)两台服务器上,如果用手工下载、上传的方法,就会效率低下;文件夹多的话,人工也无法承受。所以,使用一些同步软件……

rsync+inotify实现数据的实时备份

在前面的博文中,我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份。 一、rsync的优点与不足 与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期……

lsyncd+rsync实现实时自动同步

一、概述 一 般rsync软件是通过crond这支后台进行(计划任务)来实现自动同步数据,如今已有更好的开源软件来代替使用crond了,那就是lsyncd( Live Syncing (Mirror) Daemon),它的工作原理:监视本地(rsync client)的目录,当源数据有文件或目录更新时,更新本地文件或目录到远端机器(rsync server),保持实时文件……