温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

使用Bucardo5怎么实现PostgreSQL主数据库复制

发布时间:2021-07-26 16:17:01 阅读:163 作者:Leah 栏目:数据库
亿速云云数据库,读写分离,安全稳定,弹性扩容,低至0.3元/天!! 点击查看>>

这期内容当中小编将会给大家带来有关使用Bucardo5怎么实现PostgreSQL主数据库复制,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

为了演示方便,我使用了亚马逊Web服务(AWS)提供的可快速创建、随意使用的服务器,即运行Amazon Linux的基本t1.micro服务器。如果你按照提示继续的话,它将免费而且简单地给你创建一个服务器实例。一旦实例创建成功,我们就可以使用ec2-user账户通过SSH协议登陆到服务器,这时就可以开始安装PostgreSQL和Bucardo了。
 

# Always a good idea:
$ sudo yum update
# This also installs other postgresql packages:
$ sudo yum install postgresql-plperl
# Create a new Postgres cluster:
$ initdb btest

此时,我们仍然不能期待哦你个PostgreSQL,因为这个发布版的socket通信目录使用的是/var/run/postgresql和/tmp。我们调整了第一个目录的权限后就可以启动PostgreSQL了,然后创建第一个测试数据库:
 

$ sudo chmod 777 /var/run/postgresql
$ pg_ctl -D btest -l logfile start
$ createdb shake1


接下来我们就可以进行数据库复制了!为了得到样例数据,我使用了开放源代码的Shakespeare项目。它有一个易于装载的小型的、可任意使用的、简单的数据库模式。github上的这个小型项目就包含了一个现成的PostgreSQL数据库模式,现在我们将可以把它装载到新的数据库了:
 

$ sudo yum install git
$ git clone -q https://github.com/catherinedevlin/opensourceshakespeare.git
$ psql shake1 -q -f opensourceshakespeare/shakespeare.sql
# You can safely ignore the 'role does not exist' errors

我们打算创建这个数据库的副本,这些副本可被当作其他数据源。换个说法,这些服务器拥有相同的数据而且可以写入。实现这些非常简单:
 

$ createdb shake2 -T shake1
$ createdb shake3 -T shake1

Bucardo需要安装一些依赖包。如果你安装的操作系统发布不同,那么你可能要安装的依赖包就不同:下面是我写这篇文章的时候Amazon Linux需要安装的依赖包。(如果幸运的话,你的发布包可能已经包含了Bucardo,在这种情况下,下面的执行步骤就不需要执行了,你只要运行"yum install bucard"就可以了-不过要确定一下你使用的是版本5或者更好的版本!(通过yum info bucardo查看))
 

$ sudo yum install perl-ExtUtils-MakeMaker perl-DBD-Pg \
> perl-Encode-Locale perl-Sys-Syslog perl-boolean \
> perl-Time-HiRes perl-Test-Simple perl-Pod-Parser
$ sudo yum install cpan
$ echo y | cpan DBIx::Safe


在这个系统的yum软件仓库里不包含Perl模块DBIx::Safe,因此我们需要通过CPAN来安装这个模块。一旦上面的所有依赖都安装成功,这时我们就准备安装Bucardo。我们将获取官方压缩包,验证、解压,接着安装:
 

$ wget -nv http://bucardo.org/Bucardo.tar.gz
$ wget -nv http://bucardo.org/Bucardo.tar.gz.asc
$ gpg -q --keyserver pgp.mit.edu --recv-key 14964AC8
$ gpg --verify Bucardo.tar.gz.asc
$ tar xfz Bucardo.tar.gz $ ln -s Bucardo-5.0.0 bucardo
$ cd bucardo
$ perl Makefile.PL
$ make
$ sudo make install

我们对bucardorc文件(设置某些全局信息的文件)进行某些小的调整。然后运行"bucardo install",这条命令将创建bucardo的主数据库,其中包含Bucardo服务进程所需的信息:
 

$ mkdir pid
$ echo -e "piddir=pid\nlogdest=." > .bucardorc
$ bucardo install --batch --quiet
Creating superuser 'bucardo'


现在已经安装好Bucardo,接下来就准备复制了。此时,我们有了三个可以彼此复制的数据库。下面我们只使用了两条命令就可以实现三数据库彼此复制:
 

 bucardo add dbs s1,s2,s3 dbname=shake1,shake2,shake3
Added databases "s1","s2","s3"
$ bucardo add sync bard dbs=s1:source,s2:source,s3:source tables=all
Added sync "bard"
Created a new relgroup named "bard"
Created a new dbgroup named "bard"
 Added table "public.chapter"
 Added table "public.character"
 Added table "public.character_work"
 Added table "public.paragraph"
 Added table "public.wordform"
 Added table "public.work"

第一条命令,我们告诉Bucardo如何连接到三个数据库,我们告诉Bucardo数据库的名字,然后Bucardo把这三个数据库看作(s1,s2,s3)。你还可以指定端口和主机,不过在这个例子里,默认的端口为5432,而且不需要主机(采用的是Unix Socket通信机制)。


第二条命令创建了一个已命名的复制系统,其sync名称为bard。Bucardo需要知道复制到哪儿和如何复制,因此我们告诉它使用三个数据库s1,s2和s3。每一个数据库都可以作为源数据库,因此我们给它们添加了这样的信息。最后我们需要知道要复制什么。在这个例子里,我们需要复制的是所有表(或者更精确点,复制具有主键或者唯一索引的所有数据库)。注意: Bucardo总是把数据库和表放在命名组里-在这个例子里我们只是硬编码其为10,然而通常这个值是表格视图控制器数组的长度。现在例子里,这一切都是自动进行的,dbgroup和relgroup都是以sync的名字命名的。

我们验证一下复制是否运行,即检查一下更新行是否复制到sync里包含的所有数据库了:
 

$ bucardo start
$ psql shake1 -c \
> "update character set speechcount=123 where charname='Hamlet'"
UPDATE 1
$ for i in {1,2,3}; do psql shake$i -tc "select \
> current_database(), speechcount from character \
> where charname='Hamlet'"done | grep s
 shake1    |   123
 shake2    |   123
 shake3    |   123

我们还可以查看Bucardo的日志文件"log.bucardo",看看是否有复制操作:
 

$ tail -2 log.bucardo
(25181KID (bard) Delta count for s1.public."character"1
(25181KID (bard) Totals: deletes=2 inserts=2 conflicts=0


上面出现了两条delete和两条insert命令,这是因为更新一行意味着在其他两个数据库上首先运行的是delete,然后才运行insert(技术上采用的COPY)。接下来我们看看Bucardo是怎么处理冲突的。我们将对所有服务器上的同一行进行更新,这样就会产生冲突:
 

$ for i in {1,2,3}; do psql shake$i -tc \
> "update character set speechcount=$i$i$i \
> where charname='Hamlet'"; done
UPDATE 1
UPDATE 1
UPDATE 1

查看日志表明确实存在冲突,而且也很好的解决了冲突。默认的冲突解决方案表明:最后一个更新的数据库是获胜者,现在所有三个数据库具有与最后一个更新数据库相同的行。
 

$ tail log.bucardo
(25181KID (bard) Delta count for s1.public."character"1
(25181KID (bard) Delta count for s2.public."character"1
(25181KID (bard) Delta count for s3.public."character"1
(25181KID (bard) Conflicts for public."character"1
(25181KID (bard) Conflicts have been resolved
(25181KID (bard) Totals: deletes=2 inserts=2 conflicts=1
 
$ for i in {1,2,3}; do psql shake$i -tc \
> "select current_database(), speechcount \
> from character where charname='Hamlet'"; done | grep s
 shake1    |   333
 shake2    |   333
 shake3    |   333

我们开发这个示例的时候,Bucardo有时运行的非常快,所以没有发生冲突。也就是说,因为更新时顺序执行的。所以在下一个更新之前,存在一个时间窗口可以让Bucardo完成更新的复制。另外,“暂停sync"功能也非常方便,只要在你需要暂时停止运行sync的情况下,运行下面命令即可:
 

$ bucardo pause bard
Syncs paused: bard
$ psql shake1 -c "update character set speechcount=1234 where charname='Hamlet'"
UPDATE 1
$ psql shake2 -c "update character set speechcount=4321 where charname='Hamlet'"
UPDATE 1
$ bucardo resume bard
Syncs resumed: bard
 
$ tail log.bucardo
(27344KID (bard) Delta count for s1.public."character"1
(27344KID (bard) Delta count for s2.public."character"1
(27344KID (bard) Conflicts for public."character"1
(27344KID (bard) Conflicts have been resolved
(27344KID (bard) Totals: deletes=2 inserts=2 conflicts=1


Bucardo 5比我们在这儿演示的功能多很多。以后的博客文章里我们将包含它可以完成的其他功能,从复制到比如Oracle、Mysql或者MongoDB等非PostgreSQL系统到使用自定义的冲突解决方案。以及复制时对正在运行的数据实行转换。如果你有任何问题,请在下面的评论里说明,或者写一封短信给Bucardo邮件列表bucardo-general@bucardo.org。

上述就是小编为大家分享的使用Bucardo5怎么实现PostgreSQL主数据库复制了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注亿速云行业资讯频道。

亿速云「云数据库 MySQL」免部署即开即用,比自行安装部署数据库高出1倍以上的性能,双节点冗余防止单节点故障,数据自动定期备份随时恢复。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://www.jb51.net/article/64537.htm

AI

开发者交流群×