DB2 数据复制概述(1)

发表于:2007-07-13来源:作者:点击数: 标签:
文章实验环境:Win2000 Server、IBM DB2 Universal Database for Windows V7.1+补丁包9。 注:本文将主要讨论DB2之间的数据复制,而不考虑包含非IBM 数据库 的数据复制 什么是数据复制 数据复制就是通过将源数据库中指定的数据复制到目标数据库中,以保持源

文章实验环境:Win2000 Server、IBM® DB2® Universal Database™ for Windows® V7.1+补丁包9。

注:本文将主要讨论DB2之间的数据复制,而不考虑包含非IBM数据库的数据复制

什么是数据复制

数据复制就是通过将源数据库中指定的数据复制到目标数据库中,以保持源数据库与目标数据库中指定数据的同步(一致)。

基础概念

CD表:change data tables更改数据表,用于临时存放更改数据的表。一般包含有需要捕捉更改的列及一些控制列。

例如:下图,红色部分为用户指定的,要捕捉更改的列

CREATE  TABLE  DEPARTMENT (

DEPTNO …, <--

DEPTNAME …, <--

MGRNO …,

ADMRDEPT …,

LOCATION …)  

源表

CREATE  TABLE  CD20030805296530(

IBMSNAP_UOWID …,

IBMSNAP_INTENTSEQ…,

IBMSNAP_OPERATION …,

DEPTNO…, <--

DEPTNAME …) <--

CD表

DB2日志类型:

循环日志             归档日志:

IBM数据复制产品

DB2数据复制的组件

DB2 DataPropagator由三部分组成:管理界面、更改捕捉机制、应用程序

注意:此处应用程序(Apply program)与我们通常所说的应用程序是不同的概念,本文中如无特殊说明,“应用程序”都是指DB2数据复制的组件。

管理界面

我们主要用它来创建用于存储复制标准的控制表。控制表有多种类型,用来存放要复制哪些表哪些列等信息,我们在后面再仔细探讨。我们可以使用的管理界面有两种:

1.DB2 Control Center(DB2 控制中心)

只能针对DB2服务器之间的数据复制

2.DataJoiner Replication Administration (DJRA)

可包含非IBM数据库的数据复制(本文不详细讨论)

具体控制表类型可通过查看文件“SQLLIB\samples\repl\dpcntl.udb”来获得,本文涉及到的控制表主要有:ASN.IBMSNAP_REGISTER、ASN.IBMSNAP_UOW等。

更改捕捉机制

在建立复制环境之后,利用该机制去捕捉源数据库发生的更改,且将更改临时存放于CD表中。 DB2数据复制解决方案提供两种捕捉数据的机制:

1.捕捉DB2源表的捕捉程序

当源是DB2表时,捕捉程序会捕捉在源上所发生的更改。捕捉程序使用数据库日志去捕捉发生于源数据库上的更改,并将更改临时存储在表里。捕捉程序运行在源服务器上。

2.捕捉非IBM数据库源表的捕捉触发器(本文不详细讨论)

应用程序

当捕捉程序将源表发生的更改临时存放于CD表中后,应用程序再从这些表中读出源数据库的更改,将它应用于目标数据库,或者直接将数据从源数据库拷贝到目标数据库。

1.当刚搭建起复制环境时,有一个初始化过程,该过程应用程序将直接从源表或视图读数据来初始目标表。而后如果你想复制更改,应用程序从CD表中读取临时存储的变化数据,将它应用于目标表。

2.应用程序通常运行在目标服务器上,但它也可以运行在可以连接到源、控制和目标服务器的网络上的任一服务器上。多个应用程序实例可以运行在相同或不同的服务器上。

3.每一个应用程序与一个包含着控制表的控制服务器相关联,控制表中包含着预订集的定义。控制表可以被多个应用程序实例使用。比如:你有一个源服务器和两个目标服务器,那么,你就可以将应用程序分别运行于每一台目标服务器上。这两个应用实例可以共享控制表,控制表中有特定的信息与每一应用实例相关联。

各复制组件之间如何通讯

各复制组件之间是相互独立的,所以他们依赖于控制表中的信息进行通信。捕捉、应用程序通过更新控制表以指示复制的进程及协调变化进程。

对于DB2之间的复制,捕捉程序通过读取源服务器上的日志来捕捉源表中数据的更改。然后捕捉程序将更改的数据放入称之为更改数据(CD)表的表中。

每次应用程序拷贝数据到目标数据库,目标数据库的内容将反映出在源数据库上发生的更改。应用程序是通过应用自应用程序所知道的对于目标的上一次更新以来累加的事务来实现的,即只应用还没应用的更改。

基于日志的通讯

捕捉程序使用部分控制表去记录发生在源数据库上的更改,而应用程序使用这些控制表中的值去检测什么需要拷贝到目标库中。

重要:如果应用程序没有通知捕捉程序,捕捉程序不会捕捉任何更改信息。同样,除非你定义一个复制源并将它和预订集相关联,否则应用程序不会通知捕捉程序开始捕捉更改。

下面讲解在典型的复制环境下,应用程序和捕捉程序如何通讯以保证数据的一致性:

从源数据库捕捉数据

1.捕捉程序通过读控制表ASN.IBMSNAP_REGISTER来判断哪些复制源需要开始捕捉更改。如果在捕捉程序运行期间,用户定义了新的复制源,那么你必须重新初始化或重启捕捉程序,它才会开始生效。

2.捕捉程序通过监控DB2的日志去检测那些定义为复制源的源表所更改的记录。

3.每一复制源都有一张CD表。当捕捉程序在DB2日志中发现有一行数据发生更改时,它会在CD表中加入一行相应的数据,以记录发生的更改(如果updates被定义为DELETE和INSERT时,则加入两行)。

4.捕捉程序将提交的事务信息存储在控制表ASN.IBMSNAP_UOW中。该控制表中的行标志着在源服务器上发生的已提交的事务。对于基于日志的捕捉程序,每一个DB2源服务器都存在一张控制表ASN.IBMSNAP_UOW。

5.捕捉程序会更新控制表ASN.IBMSNAP_REGISTER来记录每一个复制源有多少已提交的数据被捕捉。

将数据应用于目标数据库

6.对于所有的预订集,应用程序首先通过将源表的所有数据拷贝到目标表中,以达到与复制源的同步。这个步骤称之为全更新拷贝。在进行全更新拷贝之后,捕捉程序开始捕捉数据源发生的更改。

7.如果任何预订集准备复制,应用程序通过检查控制表ASN.IBMSNAP_REGISTER来判断是否有发生变化以需要复制。

8.应用程序通过更新修剪控制表来同步存储在CD表中相关源表的更改。

9.应用程序从CD表和控制表ASN.IBMSNAP_UOW的连接中拷贝变化的数据到目标表中。通过连接这两个控制表,应用程序确保只拷贝在数据源上已提交的变化。

修剪表

10.应用程序用一个指向拷贝变化到目标数据库的值来更新修剪控制表ASN.IBMSNAP_PRUNCNTL。

11.当应用程序修剪CD表和UOW控制表时,它先确定哪些更改已经应用,然后将其从那两个控制表中删除。



  

原文转自:http://www.ltesting.net