GoldenGate复制单表开并行
发表于:2026-10-31 作者:千家信息网编辑
千家信息网最后更新 2026年10月31日,最近有几项业务下线,需要从一张表中删除6.8亿多条数据。想办法把数据删除掉了,但对应的ogg灾备端复制时有了的延迟,而且延迟的时间起来越长。对于表太多造成的延迟可以把所有表分为多个组来做复制,于是想复
千家信息网最后更新 2026年10月31日GoldenGate复制单表开并行
最近有几项业务下线,需要从一张表中删除6.8亿多条数据。想办法把数据删除掉了,但对应的ogg灾备端复制时有了的延迟,而且延迟的时间起来越长。
对于表太多造成的延迟可以把所有表分为多个组来做复制,于是想复制进程是否可以对单表复制开并行。上网查到了相关的资料,可以使用@RANGE函数对单表作表内的拆分,通过对表上主键列作hash算法将该表上发生的变更均分到多个replicat上来降低单个replicat组件的负载。
动手实验一下:
ogg搭建过程不再重复,从网上就可以查到。
实验过程:模拟在源端对表scott.emp1做大量的dml操作,复制进程出现延迟,在目标端对复制表scott.emp1开并行3个进程。
源端插入数据:
SQL> insert into scott.emp1 select * from scott.emp;14 rows created.SQL> commit;Commit complete.SQL> insert into scott.emp1 select * from scott.emp1;14 rows created.SQL> /28 rows created.SQL> /.......SQL> /1835008 rows created.SQL> commit;Commit complete.SQL> select count(*) from scott.emp1; COUNT(*)---------- 3670016
目标端有延迟
GGSCI (rhel5) 15> info allProgram Status Group Lag Time Since ChkptMANAGER RUNNING REPLICAT RUNNING REPTAB 00:09:08 00:00:04
停掉复制进程
拆分复制进程,对表scott.emp1分三个进程复制
#源复制进程
GGSCI (rhel5) 23> view params reptabreplicat reptabSETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")SETENV (ORACLE_SID="orcl")userid ogg,password 123456reperror default,discardassumetargetdefsdiscardfile /goldengate/dirrpt/reptab.dsc,append,megabytes 1024gettruncatesdynamicresolutionmap scott.emp1, target scott.emp1 ;map scott.emp, target scott.emp ;
源进程修改为
map scott.emp1, target scott.emp1 ,FILTER(@RANGE(1,3));多复制出两个参数文件:
GGSCI (rhel5) 1> view params reptab02replicat reptab02SETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")SETENV (ORACLE_SID="orcl")userid ogg,password 123456reperror default,discardassumetargetdefsdiscardfile /goldengate/dirrpt/reptab.dsc,append,megabytes 1024gettruncatesdynamicresolutionmap scott.emp1, target scott.emp1 ,FILTER (@RANGE(2,3));GGSCI (rhel5) 2> view params reptab03replicat reptab03SETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")SETENV (ORACLE_SID="orcl")userid ogg,password 123456reperror default,discardassumetargetdefsdiscardfile /goldengate/dirrpt/reptab.dsc,append,megabytes 1024gettruncatesdynamicresolutionmap scott.emp1, target scott.emp1 ,FILTER (@RANGE(3,3));
添加两个复制进程,extseqno和extrba与源进程一致
GGSCI (rhel5) 9> info reptabREPLICAT REPTAB Last Started 2017-05-05 16:18 Status ABENDEDCheckpoint Lag 00:09:08 (updated 00:09:38 ago)Log Read Checkpoint File ./dirdat/tl000003 2017-05-05 16:09:11.000187 RBA 194186157 GGSCI (rhel5) 10> add replicat reptab02, exttrail ./dirdat/tl,extseqno 3 extrba 194186157,checkpointtable ogg.checkpointREPLICAT added.GGSCI (rhel5) 11> add replicat reptab03, exttrail ./dirdat/tl,extseqno 3 extrba 194186157,checkpointtable ogg.checkpointREPLICAT added.
启动复制进程
GGSCI (rhel5) 12> start reptab*Sending START request to MANAGER ...REPLICAT REPTAB startingSending START request to MANAGER ...REPLICAT REPTAB02 startingSending START request to MANAGER ...REPLICAT REPTAB03 starting
查看数据库里ogg对应的会话
SQL> select module,sql_id from v$session where username='OGG';MODULE SQL_ID------------------------------------------------------------------------------------------------------------------------------------------------ ---------------------------------------OGG-REPTAB03-OPEN_DATA_SOURCE 1cxrusnmn01hzOGG-REPTAB-OPEN_DATA_SOURCE 1cxrusnmn01hzOGG-REPTAB02-OPEN_DATA_SOURCE 1cxrusnmn01hzSQL> select sql_text from v$sqlarea where sql_id='1cxrusnmn01hz';SQL_TEXT--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------INSERT INTO "SCOTT"."EMP1" ("EMPNO","ENAME","JOB","MGR","HIREDATE","SAL","COMM","DEPTNO") VALUES (:a0,:a1,:a2,:a3,:a4,:a5,:a6,:a7)可以看到出现了三个会话,都是对应的对表scott.emp1的插入语句。也就是说实现了对scott.emp1表的并行复制。
MOS上也有相关的文档介绍相应的功能,文档:1320133.1和1512633.1
参考:blog.itpub.net/15187685/viewspace-1219731/
进程
延迟
数据
三个
两个
多个
文档
目标
过程
实验
一致
下线
业务
也就是
也就是说
函数
办法
功能
单个
参数
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
深圳恒合互联网络科技有限公司
科技平台互联网
盈实互联网科技
卓越科技(互联网 )
迪茉互联网科技
互联网科技论文
睿民互联网科技
深圳艾佳互联网科技
科技类的互联网平台
丰台科技园 互联网公司
太原新华互联网科技学校怎么样
承德科技产业互联网发展
武汉健翔互联网络科技有限公司
坤平互联网科技
卓翼科技产业互联网合作
保险科技服务互联网营销体系
珠海东科互联网科技有限公司
普陀区互联网教育科技管理办法
中国互联网公司的科技投入
科技互联网企业在行动
互联网科技开发公司
上海互联网科技有限公司
期待互联网科技
上游互联网科技
长亮科技互联网金融
中国科技创新与世界互联网大会
济南有互联网科技公司吗
产业互联网科技服务公司
互联网科技资金流入
东风日产互联网科技公司叫什么