物理备份和在线备份工具pg_rman使用详解(九)

pg_rman工具是实现PostgreSQL数据库在线备份,物理备份和恢复的备份工具。可以实现全量备份,增量备份。
全量: full
增量: incremental
归档: archive

Usage:
  pg_rman OPTION init
  pg_rman OPTION backup
  pg_rman OPTION restore
  pg_rman OPTION show [DATE]
  pg_rman OPTION show detail [DATE]
  pg_rman OPTION validate [DATE]
  pg_rman OPTION delete DATE
  pg_rman OPTION purge

命令选项:
  -D, --pgdata=PATH             数据存储目录的路径
  -A, --arclog-path=PATH      归档wal (预写)日志的路径
  -S, --srvlog-path=PATH      数据库服务器存储日志的路径。
  -B, --backup-path=PATH    备份数据存储的路径。
  -c, --check                          检查
    -v, --verbose                       显示详细消息        
    -P, --progress                      显示已处理文件的进度

备份选项:
  -b, --backup-mode=MODE    全备,增备,归档
  -s, --with-serverlog                 备份服务器日志文件
  -Z, --compress-data               使用zlib压缩数据备份
  -C, --smooth-checkpoint        在备份前做平滑检查点
  -F, --full-backup-on-error       切换到完全备份模式，注意：此选项仅用于--backup-mode = incremental或archive

  --keep-data-generations=NUM   保留NUM代完整数据备份
  --keep-data-days=NUM           保持足够的数据备份以恢复到N天前
  --keep-arclog-files=NUM         保留NUM个归档的WAL日志
  --keep-arclog-days=DAY         保持存档的WAL在DAY天内修改
  --keep-srvlog-files=NUM         保留NUM个服务器日志
  --keep-srvlog-days=DAY         在DAY天内修改服务器日志
  --standby-host=HOSTNAME    从待机状态进行备份时备用主机
  --standby-port=PORT          从待机状态进行备份时的备用端口

还原选项：
  --recovery-target-time        恢复将继续进行的时间戳
  --recovery-target-xid          事务ID，恢复将继续进行
    --recovery-target-inclusive    我们是否在恢复目标之后停止
  --recovery-target-timeline     恢复到特定的时间
  --hard-copy                   复制archivelog而不是符号链接

目录选项：
  -a        显示已删除的备份

删除选项:
 -f       强制删除比规定日期更旧的备份

连接选项: 
  -d, --dbname=DBNAME     连接指定库
  -h, --host=HOSTNAME      数据库主机名/IP地址
  -p, --port=PORT                 数据库端口
  -U, --username=USERNAME   数据库用户名
  -w, --no-password           从不提示密码
  -W, --password             强制密码提示

通用选项:
   -q, --quiet       不显示任何INFO或者DEBUG信息。
     --debug         查看debug信息。

• 开始使用pg_rman工具：

  • 创建备份目录

     # mkdir /database-backup/postgresql-backup/{fullbackup,walbackup,pg_srvlog} -p
     # chown -R postgres.postgres  /database-backup/postgresql-backup/

  • 设置环境变量:

        $ vim .profile
            export BACKUP_PATH=/database-backup/postgresql-backup/fullbackup
            export ARCLOG_PATH=/database-backup/postgresql-backup/walbackup
            export SRVLOG_PATH=/database-backup/postgresql-backup/pg_srvlog
            $ source .profile     #立即生效

  • 修改postgresql.conf配置文件:

      $ vim data/postgresql.conf
        archive_mode = on
        archive_command = 'DATE=`date +%Y%m%d`; DIR="/database-backup/postgresql-backup/walbackup/"; (test -d $DIR ||  mkdir -p $DIR)  && cp %p $DIR/%f'
        保存并退出。

  • pg_rman init 初始化

        $ pg_rman init
        INFO: ARCLOG_PATH is set to '/database-backup/postgresql-backup/walbackup'
        INFO: SRVLOG_PATH is set to '/database-backup/postgresql-backup/pg_srvlog'

  • pg_rman全量备份

    $ pg_rman backup --backup-mode=full --with-serverlog --progress
    INFO: copying database files
    Processed 1298 of 1298 files, skipped 0
    INFO: copying archived WAL files
    Processed 3 of 3 files, skipped 0
    INFO: copying server log files
    INFO: backup complete
    INFO: Please execute 'pg_rman validate' to verify the files are correctly copied.

  • pg_rman 校验备份集

    pg_rman 的备份必须都是经过验证过的，否则不能进行恢复和增量备份。
    $ pg_rman validate
    INFO: validate: "2018-10-14 14:55:34" backup, archive log files and server log files by CRC
    INFO: backup "2018-10-14 14:55:34" is valid

• pg_rman 列出备份集

  $ pg_rman show

  

      $ ls -l /database-backup/postgresql-backup/fullbackup/
      total 20
      drwx------ 3 postgres postgres 4096 Oct 14 14:55 20181014
      drwx------ 4 postgres postgres 4096 Oct 14 14:53 backup
      -rw-rw-r-- 1 postgres postgres  119 Oct 14 14:53 pg_rman.ini
      -rw-rw-r-- 1 postgres postgres   40 Oct 14 14:53 system_identifier
      drwx------ 2 postgres postgres 4096 Oct 14 14:53 timeline_history

• pg_rman增量备份:

    增量备份是基于文件系统的update time时间线.
    增量备份必须有个对应的全库备份.
    $ pg_rman backup --backup-mode incremental --progress --compress-data

  

        $ pg_rman validate
        INFO: validate: "2018-10-14 15:59:57" backup and archive log files by CRC
        INFO: backup "2018-10-14 15:59:57" is valid

        $ pg_rman show

• pg_rman删除备份集

      $ pg_rman delete   -f   '2018-10-14 15:59:57'
      INFO: delete the backup with start time: "2018-10-14 15:59:57"
      INFO: delete the backup with start time: "2018-10-14 14:55:34"
  
      删除增量备份的同时,也已经把全量备份给删除了。
  
          $ pg_rman show
     =====================================================================
     StartTime           EndTime              Mode    Size   TLI  Status 
     =====================================================================

  注意: 创建增量备份之前必须先创建一个全量备份。

• pg_rman restore 还原

    模拟数据库误删除:
          $ /etc/init.d/postgresql  stop
          $ ps  -ef  | grep  -i  postmaster | grep -v grep
          $cd  data
          $ ls   -l

  

            $ mv data   data-bak        # 将之间的目录作为备份。
            $ mkdir   data                 # 创建数据目录。
            $ chmod 700 ./data

• 使用pg_rman restore还原：

      $ pg_rman restore

  

      $ cd $PGDATA
  $ ls    -l

  

     $ cat recovery.conf
     # recovery.conf generated by pg_rman 1.3.7
     restore_command = 'cp /database-backup/postgresql-backup/walbackup/%f %p'
     recovery_target_timeline = '1'

     启动PostgreSQL数据库服务:
     $ /etc/init.d/postgresql start

 $ ps -ef |grep -i postgres

• 还原时,注意事项:

    restore后启动会遇到下列错误:
       invalid primary checkpoint record
       invalid secondary checkpoint record
       could not locate a valid checkpoint record
  
      此时只能重置wal，并取消恢复模式
      $  pg_resetwal  --f  $PGDATA
      $ mv $PGDATA/recovery.conf $PGDATA/recovery.done
  
      使用pg_rman备份时对wal的归档是通过软链接来实现。建议添加 --hard-copy。

  增量备份和全量备份, 备份还原已经完成。
  需要注意的是:
  物理备份时的全量和增量备份时可以在线备份(不停机备份).
  但是还原时,需要停机进行还原。

    postgres用户的环境变量配置文件内容:
            PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin:/services/install/postgresql10/bin/
            export  LD_LIBRARY_PATH=/services/install/postgresql10/lib:$LD_LIBRARY_PATH
            export LD_LIBRARY_PATH=/services/install/python3.6/lib:$LD_LIBRARY_PATH
            export PGDATA PATH
            export BACKUP_PATH=/database-backup/postgresql-backup/fullbackup
            export ARCLOG_PATH=/database-backup/postgresql-backup/walbackup
            export SRVLOG_PATH=/database-backup/postgresql-backup/pg_srvlog

参考:
https://github.com/ossc-db/pg_rman/tree/master
http://ossc-db.github.io/pg_rman/index.html