ibm cdc 架构

IBM? InfoSphere? Data Replication - CDC Replication 是一个复制解决方案，用于捕获正在发生的数据库更改，并根据 InfoSphere Data Replication Management Console GUI 应用程序中配置的表映射将这些更改传递到目标数据库、消息队列或 ETL 解决方案（例如 InfoSphere DataStage?）。

对于动态数据仓储、主控方数据管理、应用程序合并或迁移、运营 BI 以及启用 SOA 项目之类的关键信息管理活动，CDC Replication 能够以影响性较低的方式捕获数据更改并高速传递这些更改。另外，通过仅发送更改的数据，CDC Replication 还可以帮助降低处理开销和网络流量。复制可连续执行，也可定期执行。数据从源服务器传输出来后，可以在目标环境中重新映射或变换。

下图显示了 CDC Replication 的关键组件。

• Access Server - 控制所有以非命令行方式对复制环境进行的访问。当您登录到 Management Console 时，就是连接到 Access Server。您可以在客户机工作站上关闭 Access Server，而不会影响源服务器与目标服务器之间正在进行的数据复制活动。
• 管理 API - 以基于 Java 的可选编程接口形式运行。您可以使用此 API 对操作配置或交互进行脚本编制。
• 应用代理程序 - 充当目标上的代理程序，用于处理源所发送的更改。
• 命令行界面 - 允许您独立于 Management Console 来管理数据存储器和用户帐户，以及执行管理脚本编制。
• 通信层 (TCP/IP) - 充当源与目标之间的专用网络连接。
• 源和目标数据存储器 - 表示数据复制所需的数据文件和 CDC Replication 实例。每个数据存储器都表示您要连接到的数据库，并且充当表的容器。被设为可供复制的表包含在数据存储器中。
• Management Console - 允许您配置、监视和管理各种服务器上的复制，指定复制参数以及从客户机工作站启动刷新和镜像操作。另外，Management Console 还允许您监视复制操作、等待时间、事件消息以及源或目标数据存储器所支持的其他统计信息。Management Console 中的监视器旨在用于需要持续分析数据移动的时间关键型工作环境。在设置复制之后，您可以在客户机工作站上关闭 Management Console，而不会影响源服务器与目标服务器之间正在进行的数据复制活动。
• 元数据 - 表示相关表、映射、预订、通知、事件以及您设置的数据复制实例的其他细节的相关信息。
• 镜像 - 将更改复制到目标表或者积累源表更改并在以后将其复制到目标表。如果在环境中实施了双向复制，那么可以在源表与目标表之间来回进行镜像。
• 刷新 - 将表从源数据库初始同步到目标。这会由刷新阅读器进行读取。
• 复制引擎 - 用于发送和接收数据。用于发送所复制数据的进程是源捕获引擎，而用于接收所复制数据的进程是目标引擎。CDC Replication 实例可以同时作为源捕获引擎和目标引擎运行。
• 单次提取 - 充当仅用于源的日志阅读器和日志解析器组件。它会检查并分析所选数据存储器上所有预订的源数据库日志。

  并非所有 CDC Replication 引擎都使用"单次提取"。对于 CDC Replication Engine for DB2? for i，有一个"提取器"作业（充当日志阅读器）和一个"镜像"作业（用于执行镜像功能）。

• 源变换引擎 - 处理行过滤、关键列、列过滤、编码转换以及要传播到目标数据存储器引擎的其他数据。
• 源数据库日志 - 由源数据库维护以用于其自身的恢复。CDC Replication 日志阅读器会在镜像过程中检查这些日志，并过滤掉不在复制范围内的表。
• 目标变换引擎 - 处理数据和值转换、编码转换、用户出口、冲突检测以及目标数据存储器引擎上的其他数据。

• JMS 消息 - 充当 JMS 消息目标（队列或主题），用于创建为 XML 文档的行级别操作。
• InfoSphere DataStage - 处理从 CDC Replication 传递的更改，这些更改可由 InfoSphere DataStage 作业使用。