关键词DMDRS、达梦数据复制软件、DMDPC、DM8、一对一数据同步、搭建部署、DMDPI驱动、MP节点、BP节点、归档日志、逻辑日志、DDL同步摘要本文以源数据库DMDPC、目标数据库DM8为例介绍一对一数据同步场景中DMDRS的搭建流程源DMDRS分别部署在DMDPC的MP节点与BP1、BP2节点上通过DMDPI驱动连接DMDPC的SP节点与MP/BP节点主要步骤包括场景规划业务规划、网络规划、目录规划、设置DMDRS运行用户、设置环境变量、开启源数据库的归档和逻辑日志、配置DDL同步、配置DMDRS服务、运行DMDRS服务以及验证同步结果。BP节点上DrsService服务脚本必须配置TMP_START_MODE-bp参数源数据库为DMDPC时仅支持系统表方式配置DDL同步。以源数据库为DMDPC和目标数据库为DM8为例介绍在一对一数据同步场景中DMDRS的搭建流程。1 场景规划业务规划数据同步场景中已部署两个数据库包括源数据库DMDPC192.168.20.23/24/25/26和目标数据库DM8192.168.20.21现需通过搭建DMDRS将源数据库RESOURCES模式下表EMPLOYEE和DEPARTMENT的全量数据和增量数据同步到目标数据库的RESOURCES模式下的表EMPLOYEE和DEPARTMENT中。源DMDRS捕获源数据库的数据将捕获到的数据发送到目标DMDRS。目标DMDRS将接收的数据同步到目标数据库。网络规划DMDRS服务IP地址和端口连接数据库说明源DMDRS部署在MP节点的DMDRS_MP192.168.20.24:5345源数据库DMDPC的SP节点: 192.168.20.23:5236源数据库DMDPC的MP节点: 192.168.20.24:5236源DMDRS服务器需要安装DMDPI驱动与源数据库DMDPC的SP节点和MP节点连接。源DMDRS部署在BP1节点的DMDRS_BP1192.168.20.25:5345源数据库DMDPC的SP节点: 192.168.20.23:5236源数据库DMDPC的BP1节点: 192.168.20.25:5236源DMDRS服务器需要安装DMDPI驱动与源数据库DMDPC的SP节点和BP1节点连接。源DMDRS部署在BP2节点的DMDRS_BP2192.168.20.26:5345源数据库DMDPC的SP节点: 192.168.20.23:5236源数据库DMDPC的BP2节点: 192.168.20.26:5236源DMDRS服务器需要安装DMDPI驱动与源数据库DMDPC的SP节点和BP2节点连接。目标DMDRS192.168.20.21:5345目标数据库 DM8 192.168.20.21:5236目标DMDRS服务器需要安装DMDPI驱动与目标数据库DM8连接。目录规划源数据库、源DMDRS服务DMDRS_MP、DMDRS_BP1和DMDRS_BP2和目标DMDRS服务相关的目录规划如下表所示。目录类型目录名目录示例源数据库MP、BP1、BP2数据库归档文件目录/dm8/data/arch数据库DDL同步脚本目录/home/dmdrs/dmdrs5/bin/scripts源DMDRS服务DMDRS_MP、DMDRS_BP1和DMDRS_BP2安装目录/home/dmdrs/dmdrs5执行程序目录/home/dmdrs/dmdrs5/bin配置文件路径/home/dmdrs/dmdrs5/bin/cpt.xml服务脚本模板目录/home/dmdrs/dmdrs5/bin/service_template服务脚本目录/home/dmdrs/dmdrs5/binconsole远程控制工具/home/dmdrs/dmdrs5/bin/drcsl目标DMDRS服务安装目录/home/dmdrs/dmdrs5执行程序目录/home/dmdrs/dmdrs5/bin配置文件路径/home/dmdrs/dmdrs5/bin/exec.xml服务脚本模板目录/home/dmdrs/dmdrs5/bin/service_template服务脚本目录/home/dmdrs/dmdrs5/binconsole远程控制工具/home/dmdrs/dmdrs5/bin/drcsl2 设置DMDRS运行用户设置源DMDRS服务DMDRS_MP、DMDRS_BP1和DMDRS_BP2的运行用户对服务所在目录及子目录的读、写和执行权限并设置运行用户同数据库归档文件所在目录属同一用户组此用户组应对归档文件所在目录及子目录有读权限。设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。3 设置环境变量在源DMDRS和目标DMDRS服务器的环境变量中添加DMDPI驱动文件路径。打开.bash_profile配置文件。$vi~/.bash_profile在.bash_profile配置文件末尾增加DMDPI驱动路径。exportLD_LIBRARY_PATHDMDPI驱动路径:$LD_LIBRARY_PATH保存并退出vi编辑器使环境变量生效。$source~/.bash_profile查看环境变量是否设置成功。$echo$LD_LIBRARY_PATH4 开启源数据库的归档和逻辑日志使用动态配置的方式开启源数据库DMDPC的所有MP节点和BP节点的归档和逻辑日志。挂载源数据库。SQLalterdatabasemount;开启源数据库归档模式。SQLalterdatabasearchivelog;源数据库添加归档日志配置项。SQLalterdatabaseaddarchivelogDEST/dm8/data/arch,TYPELOCAL,FILE_SIZE512,SPACE_LIMIT10240;开启源数据库。SQLalterdatabaseopen;配置源数据库逻辑日志。SQLcallsp_set_para_value(1,RLOG_APPEND_LOGIC,1);5 配置DDL同步使用系统表动态配置方式配置DDL同步。在源数据库DMDPC的SP节点上调用系统过程SP_SET_PARA_VALUE将DMDPC所有节点的配置文件“dm.ini”中RLOG_APPEND_SYSTAB_LOGIC参数值设置为1。此系统过程的定义请参考《DM8_SQL语言使用手册》。SQLcallsp_set_para_value(1,RLOG_APPEND_SYSTAB_LOGIC,1);6 配置DMDRS服务介绍源DMDRS服务和目标DMDRS服务的配置方法。说明以下DMDRS服务的配置文件仅为示例在实际应用场景中请根据实际搭建环境修改配置文件中的参数配置具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。6.1 配置目标DMDRS服务在目标DMDRS服务的配置文件目录打开并修改exec.xml配置文件修改后配置文件如下所示。注意配置文件中的siteid为必配参数配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性如果重复会造成链路中数据复制的混乱。?xml version1.0 encodingGB18030?drsbasemgr_port5345/mgr_portsiteid站点号/siteid/baseexecnameexec_dm8/namelogindbtypedm8/dbtypeserver192.168.20.21/serveruserDMDRS/userpwdDMDRS/pwdport5236/port/login/exec/drs6.2 配置源DMDRS服务分别在部署在源数据库MP节点、BP1节点和BP2节点的源DMDRS服务的配置文件目录打开并修改cpt.xml配置文件。配置MP节点的源DMDRS服务在部署在MP节点的源DMDRS服务的配置文件目录打开并修改cpt.xml配置文件修改后配置文件如下所示。注意配置文件中的siteid为必配参数配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性如果重复会造成链路中数据复制的混乱。?xml version1.0 encodingGB18030?drsbasemgr_port5345/mgr_portsiteid站点号/siteid/basecptnamedrs_MP/namelogindbtypeDPC/dbtypeserver192.168.20.23/serveruserDMDRS/userpwdDMDRS/pwdport5236/port/loginsendip192.168.20.21/ipport5345/porttarget_nameexec_dm8/target_namemapitemRESOURCES.EMPLOYEERESOURCES.EMPLOYEE/itemitemRESOURCES.DEPARTMENTRESOURCES.DEPARTMENT/item/map/senddpcdpc_typeMP/dpc_typedpc_db_infodpc_ip192.168.20.24/dpc_ipdpc_port5236/dpc_port/dpc_db_infodpc_drs_infoitemdrs_ip192.168.20.25/drs_ipdrs_port5345/drs_portdrs_namedrs_BP1/drs_nameraft_id1/raft_id/itemitemdrs_ip192.168.20.26/drs_ipdrs_port5345/drs_portdrs_namedrs_BP2/drs_nameraft_id2/raft_id/item/dpc_drs_info/dpc/cpt/drs配置BP1节点的源DMDRS服务在部署在BP1节点的源DMDRS服务的配置文件目录打开并修改cpt.xml配置文件修改后配置文件如下所示。?xml version1.0 encodingGB18030?drsbasemgr_port5346/mgr_portsiteid站点号/siteid/basecptnamedrs_BP1/namelogindbtypeDPC/dbtypeserver192.168.20.23/serveruserDMDRS/userpwdDMDRS/pwdport5236/port/loginsendip192.168.20.21/ipport5345/porttarget_nameexec_dm8/target_namemapitemRESOURCES.EMPLOYEERESOURCES.EMPLOYEE/itemitemRESOURCES.DEPARTMENTRESOURCES.DEPARTMENT/item/map/senddpcdpc_typeBP/dpc_typedpc_db_infodpc_ip192.168.20.25/dpc_ipdpc_port5236/dpc_port/dpc_db_infodpc_drs_infoitemdrs_ip192.168.20.24/drs_ipdrs_port5345/drs_portdrs_namedrs_MP/drs_name/item/dpc_drs_info/dpc/cpt/drs配置BP2节点的源DMDRS服务在部署在BP2节点的源DMDRS服务的配置文件目录打开并修改cpt.xml配置文件修改后配置文件如下所示。?xml version1.0 encodingGB18030?drsbasemgr_port5346/mgr_portsiteid站点号/siteid/basecptnamedrs_BP2/namelogindbtypeDPC/dbtypeserver192.168.20.23/serveruserDMDRS/userpwdDMDRS/pwdport5236/port/loginsendip192.168.20.21/ipport5345/porttarget_nameexec_dm8/target_namemapitemRESOURCES.EMPLOYEERESOURCES.EMPLOYEE/itemitemRESOURCES.DEPARTMENTRESOURCES.DEPARTMENT/item/map/senddpcdpc_typeBP/dpc_typedpc_db_infodpc_ip192.168.20.26/dpc_ipdpc_port5236/dpc_port/dpc_db_infodpc_drs_infoitemdrs_ip192.168.20.24/drs_ipdrs_port5345/drs_portdrs_namedrs_MP/drs_name/item/dpc_drs_info/dpc/cpt/drs7 运行DMDRS服务按照服务的运行顺序启动目标DMDRS服务和源DMDRS服务。7.1 启动目标DMDRS服务将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。$cpTemplateService../DrsService打开并修改DrsService服务脚本中的相关配置参数。$viDrsServiceINSTALL_HOME/home/dmdrs/dmdrs5PROG_DIR/home/dmdrs/dmdrs5/binCONF_PATH/home/dmdrs/dmdrs5/bin/exec.xmlEXEC_PROG_NAMEdrsvrSERVICE_TYPE_NAMEdrs server启动目标DMDRS服务。$ ./DrsService start7.2 启动源DMDRS服务按顺序先启动所有部署在BP节点上的源DMDRS服务各BP节点上的源DMDRS服务启动无先后顺序要求再启动部署在MP节点上的源DMDRS服务。将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。$cpTemplateService../DrsService打开并修改DrsService服务脚本中的相关配置参数。修改MP节点上DrsService服务脚本中的相关配置参数。$viDrsServiceINSTALL_HOME/home/dmdrs/dmdrs5PROG_DIR/home/dmdrs/dmdrs5/binCONF_PATH/home/dmdrs/dmdrs5/bin/cpt.xmlEXEC_PROG_NAMEdrsvrSERVICE_TYPE_NAMEdrs server修改BP节点上DrsService服务脚本中的相关配置参数。注意BP节点上DrsService服务脚本必须配置TMP_START_MODE-bp参数。$viDrsServiceINSTALL_HOME/home/dmdrs/dmdrs5PROG_DIR/home/dmdrs/dmdrs5/binCONF_PATH/home/dmdrs/dmdrs5/bin/cpt.xmlEXEC_PROG_NAMEdrsvrSERVICE_TYPE_NAMEdrs serverTMP_START_MODE-bp启动源DMDRS服务。$ ./DrsService start7.3 启动源DMDRS服务中的CPT模块使用服务脚本启动服务后需要使用远程控制台对服务中的模块执行启动命令。远程控制台仅能连接部署在MP节点的源DMDRS服务部署在BP节点的源DMDRS服务仅能执行MP节点的源DMDRS服务分发的命令不允许单独执行命令。启动控制台。$ ./drcsl cpt.xml连接源DMDRS服务。CSLconnect设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置请参考《DMDRS控制台命令手册》进行设置。CSLalter drs_MPsetlsn启动源DMDRS服务中的CPT模块。CSLstart将源数据库中RESOURCES模式下的表EMPLOYEE和DEPARTMENT添加同步添加后自动将源数据库表的全量数据装载到目标数据库装载完成后自动进行增量数据的同步。CSLalter drs_MPaddtablesch.nameRESOURCES and tab.name in (EMPLOYEE,DEPARTMENT)使用命令查看数据装载的监控信息具体命令请参见《DMDRS控制台命令手册》。若需要重启源DMDRS服务或者目标DMDRS服务并再次使用全量数据装载功能则需要在重启后重复步骤3清理原有环境。8 验证同步结果在源数据库表RESOURCES.EMPLOYEE和RESOURCES.DEPARTMENT中插入数据如果插入的数据能正确地同步到目标数据库则表示数据同步成功。如果你在使用AI助手时想了解源数据库DMDPC到目标数据库DM8一对一数据同步的DMDRS搭建流程场景规划、环境配置、MP/BP节点DMDRS服务配置与运行、验证同步结果这篇文章可以作为参考。