注册 | 登录 忘记密码? 51cto首页 | 博客 | 论坛 | 招聘
热点文章 窥冰山一角解密流氓软件
 帮助

DSG数据复制、容灾、备份案例(电信部分二)


2006-12-07 21:36:51
 标签:容灾 备份 案例   [推送到技术圈]

1、项目需求
本工程需要对GSM计费系统上的数据提供数据复制支持,提供容灾和计费数据查询功能。计费系统在线系统保存5+1的数据,容灾系统上只要求保存2月(上月+当前月)的数据用于容灾和查询。
为了满足该要求,如果采用常用的磁盘镜像技术的话,那么将有几个问题是无法有效解决的,或者说如果解决该问题的成本是非常昂贵的:
n         不能实现按需复制:
磁盘镜像无法实现按需容灾技术,即在计费系统中只需要提供1+1月数据的容灾保护,而在生产系统上有5+1月数据。磁盘镜像技术只能对5+1数据提供容灾复制,这样必将提高存储容量3倍以上。
n         容灾数据无法实现有效的数据查询功能:
与其他任何保险策略一样,对容灾系统而言,没有灾难出现时,我们根本无法意识到容灾系统所起到的作用,无法回收容灾系统建设所需的大量投资。当未出现灾难时,我们的容灾端系统总是处于空闲状态,花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。
一些磁盘复制技术厂商推出了BCV等技术以解决该数据复用问题,而该方案需要用户购买1倍的磁盘空间,并且数据还不能实时访问。
因此,如果采用传统硬盘复制技术解决以上问题的话,但就硬盘容量投资上讲就将浪费6倍的硬盘。
 
2DSG解决方案
DSG公司推出的RealSync容灾解决方案为该需求提供了最佳的解决方案。
该技术与磁盘镜像技术的根本区别在于,RealSync是在逻辑级,通过传输和运行数据库事务(Transaction),来实现生产系统的数据实时复制到容灾系统上的。
这样该软件可提供该项目需求中的两个重点支持:
1)按需选择复制:
由于该软件是在逻辑级别复制,所以生产系统和容灾系统在数据管理方面可以采用不同的策略,如在生产系统上保存51月数据,而在容灾系统系统上只保存1+1数据。
RealSync可指定只对当前月和前一月的11数据进行复制。
2)容灾数据库可提供数据实时访问,而不需要额外的存储投资
采用RealSync复制技术,容灾站数据库系统始终处于打开状态,不同于磁盘镜像技术中的容灾数据库系统在进行数据复制是不可用的。因此,在RealSync热容灾解决方案中,可以通过容灾系统为其它系统提供数据共享服务。如通过容灾系统为计费系统查询功能。
同时该功能还无需像BCV那样购买多一倍的存储空间
采用DSG RealSync实现山东联通计费系统容灾方案结构如下:
如上图所示:本次工程是采用DSG RealSyncGSM计费系统上的2RP84002HP N4000上的4个数据库复制到1个容灾系统上。
n         使用RealSync完成计费系统数据表复制功能;
n         实现选择性复制,只复制那些需要容灾的数据,在本方案中就是1+1月的数据;
n         实现容灾系统上的数据只保存1+1月数据的方案,在每月末,通过脚本定时执行的方式或人工操作的方式将前3个月的数据删除;
n         实现容灾系统的数据查询功能,当数据复制过程中,容灾端数据也可以提供外部查询功能。
 
 
 

客户背景

河北省通信公司沧州市分公司是河北通信公司下属的最大的分公司之一,有固定电话用户150多万户。

应用需求及解决方案

本地网计费帐务系统是其最重要的业务系统,运行在两台高端UNIX服务器上,采用Oracle OPS运行模式。数据量达到数百GB
系统早期由于备份软件版本低、磁带设备陈旧、处理性能低下等原因,而采用Export工具将计费数据轮流全部导出进行备份。
但由于数据量越来越庞大,导出时间需要超过10小时以上,并且还经常造成导出过程中断。同时,由于逻辑导出的备份数据谈不上快速恢复,如果系统由于灾难发生时,需要重新装入所有数据,其时间将远远超出系统允许的RTO指标。
为此沧州通信选用DSG SnapAssure-DC备份系统优化升级其现有备份系统。在采用DSG的备份解决方案后,大大减少了系统维护的复杂度,提高了数据备份的可靠性:
1.        简化备份策略:采用DSG备份软件技术后,无需对系统进行太多的完全备份,只需要进行一次完全备份,以后每次只需进行增量备份,同时每次增量备份都构成一个完整的备份版本。在恢复时,只需随意指定恢复某一版本就行,而不必依次恢复。
2.        备份时间大大缩短:根据监控报告显示,每天的备份时间在20分钟左右即可完成。
3.        可靠性提高。DSG SnapAssure-DC提供了自动备份检验功能,确保每次备份任务的成功执行。
系统恢复性能提高:将以前需要数十小时才能恢复的任务缩短到2-3小时即可完成。
 
 
 
 
 
广西移动营业和客服数据库容灾

业务需求

将在白沙机房(BOSS1.5机房)新建一个基于SAN环境的计算机系统,有6个数据库(Oracle 9i RAC),其中的2个数据库(一个是Oracle 9i RAC,两个节点,另外一个是双机互备模式)根据业务需要分别复制到应急数据库(Oracle 9i Single)的2个实例,因此需采购相应的复制软件进行数据库的复制。
本工程是对其中的营业数据库和客服数据库进行复制,复制到应急数据库。
数据库复制系统的建立应实现将营业库和客服库的数据变化分别复制到应急库,使得应急营业库和应急客服库的数据和生产系统的营业库及客户库的数据同步。并能在生产系统的营业库或者客户库有故障时,替代故障库,接管应用。当故障库修复以后,能及时将应急库中的数据同步到修复后的生产数据库。

方案设计

根据广西移动数据复制系统的业务需求,采用DSG RealSync软件实现数据复制:系统总体结构如下图所示:
 
 
广西移动BOSS 1.5系统中需要本期工程进行复制的业务类型主要包括三种:
客服:系统的数据量约为100GB
帐务:系统的数据量约为800GB
营业:系统的数据量约为500GB
客服数据库单独运行,运行在两台IBM P690服务器上,组成RAC环境;
帐务和营业两个业务运行在一个ORACLE DATABASE的两个USER上,运行在两台IBM P690服务器上,组成RAC环境;
在容灾系统上安装两个ORACEL INSTANCE,运行两个ORACEL DATABASE。分别对应生产系统的客服数据库和营业帐务数据库中的两个用户。

性能参考

ü         全同步
DSG RealSync提供了不停机的首次全同步功能,该功能支持数据库在正常业务时间不中断的情况下进行全同步。避免了采用存储拷贝方式进行全同步时必需要求的业务中断。
对于广西移动的数据量,两个用户数据量约为800GB,采用10个并发任务进行全同步,同步时间共计约5小时左右。
ü         日志分析速度
系统每天处理的日志量达到400GB左右.
ü         CPU资源速度
源端日志分析CPU占用量为单个CPU10%,高峰期可达到单个CPU60%.

解决方案特点

容灾与其他任何保险策略一样,当没有灾难出现时,我们根本无法意识到容灾系统所起到的作用,无法回收容灾系统建设所需的大量投资。但从系统安全性角度考虑,我们又必须为关键的业务支撑系统建设最有效的灾难恢复解决方案。但是在大部分情况下,当未出现灾难时,我们的容灾端系统总是处于空闲状态,花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。
为此我们采用双active的结构,让容灾系统的数据库也处于OPEN状态,这样实际上广西移动就拥有了第二数据中心,而不仅仅是一个灾难备份系统,通过第二数据中心可以实现如下功能:
通过数据同步建立的第二数据中心可以实现对业务关键数据的容灾及保护,在不影响生产数据库性能的同时为生产数据库在本地或异地建立一份准实时镜像,以保证在生产数据库发生灾难时可使用容灾数据库进行业务接管和数据恢复。
第二数据中心的数据处于实时可读取状态,数据库处于OPEN状态,实现BOSS系统业务模块的重新部署。
通过第二数据中心实现对BOSS核心系统的业务模块进行负载分担,将那些只对数据进行读取操作的模块都迁移到第二数据中心上来,主要包括:
ü         地市统计报表
ü         地市业务查询
ü         提供其他系统的数据访问接口;
这样作将达到两个好处:
ü         提高数据访问的效率,提高外围系统部署的灵活性;
ü         提高核心系统的运行效率,提高核心系统运行的稳定和可靠性;
 




    文章评论
 
 

发表评论

昵   称:
验证码:  点击图片可刷新验证码  博客过2级,无需填写验证码
内   容: