温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

ibm cdc 架构

发布时间:2020-08-19 07:29:09 来源:ITPUB博客 阅读:288 作者:flywiththewind 栏目:数据库

IBM? InfoSphere? Data Replication - CDC Replication 是一个复制解决方案,用于捕获正在发生的数据库更改,并根据 InfoSphere Data Replication Management Console GUI 应用程序中配置的表映射将这些更改传递到目标数据库、消息队列或 ETL 解决方案(例如 InfoSphere DataStage?)。

对于动态数据仓储、主控方数据管理、应用程序合并或迁移、运营 BI 以及启用 SOA 项目之类的关键信息管理活动,CDC Replication 能够以影响性较低的方式捕获数据更改并高速传递这些更改。另外,通过仅发送更改的数据,CDC Replication 还可以帮助降低处理开销和网络流量。复制可连续执行,也可定期执行。数据从源服务器传输出来后,可以在目标环境中重新映射或变换。

下图显示了 CDC Replication 的关键组件。


ibm cdc 架构

以下列表描述了 InfoSphere Data Replication 体系结构的关键组件:
  • Access Server - 控制所有以非命令行方式对复制环境进行的访问。当您登录到 Management Console 时,就是连接到 Access Server。您可以在客户机工作站上关闭 Access Server,而不会影响源服务器与目标服务器之间正在进行的数据复制活动。
  • 管理 API - 以基于 Java 的可选编程接口形式运行。您可以使用此 API 对操作配置或交互进行脚本编制。
  • 应用代理程序 - 充当目标上的代理程序,用于处理源所发送的更改。
  • 命令行界面 - 允许您独立于 Management Console 来管理数据存储器和用户帐户,以及执行管理脚本编制。
  • 通信层 (TCP/IP) - 充当源与目标之间的专用网络连接。
  • 源和目标数据存储器 - 表示数据复制所需的数据文件和 CDC Replication 实例。每个数据存储器都表示您要连接到的数据库,并且充当表的容器。被设为可供复制的表包含在数据存储器中。
  • Management Console - 允许您配置、监视和管理各种服务器上的复制,指定复制参数以及从客户机工作站启动刷新和镜像操作。另外,Management Console 还允许您监视复制操作、等待时间、事件消息以及源或目标数据存储器所支持的其他统计信息。Management Console 中的监视器旨在用于需要持续分析数据移动的时间关键型工作环境。在设置复制之后,您可以在客户机工作站上关闭 Management Console,而不会影响源服务器与目标服务器之间正在进行的数据复制活动。
  • 元数据 - 表示相关表、映射、预订、通知、事件以及您设置的数据复制实例的其他细节的相关信息。
  • 镜像 - 将更改复制到目标表或者积累源表更改并在以后将其复制到目标表。如果在环境中实施了双向复制,那么可以在源表与目标表之间来回进行镜像。
  • 刷新 - 将表从源数据库初始同步到目标。这会由刷新阅读器进行读取。
  • 复制引擎 - 用于发送和接收数据。用于发送所复制数据的进程是源捕获引擎,而用于接收所复制数据的进程是目标引擎。CDC Replication 实例可以同时作为源捕获引擎和目标引擎运行。
  • 单次提取 - 充当仅用于源的日志阅读器和日志解析器组件。它会检查并分析所选数据存储器上所有预订的源数据库日志。

    并非所有 CDC Replication 引擎都使用“单次提取”。对于 CDC Replication Engine for DB2? for i,有一个“提取器”作业(充当日志阅读器)和一个“镜像”作业(用于执行镜像功能)。

  • 源变换引擎 - 处理行过滤、关键列、列过滤、编码转换以及要传播到目标数据存储器引擎的其他数据。
  • 源数据库日志 - 由源数据库维护以用于其自身的恢复。CDC Replication 日志阅读器会在镜像过程中检查这些日志,并过滤掉不在复制范围内的表。
  • 目标变换引擎 - 处理数据和值转换、编码转换、用户出口、冲突检测以及目标数据存储器引擎上的其他数据。
有两种仅用于目标的复制目的地(并不是数据库):
  • JMS 消息 - 充当 JMS 消息目标(队列或主题),用于创建为 XML 文档的行级别操作。
  • InfoSphere DataStage - 处理从 CDC Replication 传递的更改,这些更改可由 InfoSphere DataStage 作业使用。
向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI