省集中系统的优化部署_DSG统计查询平台(辽宁网通)
省集中系统的优化部署
目 录
系统现状和需求 3
硬件扩容的误导 4
磁盘复制技术也存在一定问题 5
DSG RealSync复制技术 6
DSG复制解决方案 7
参考案例 9
系统现状和需求
（1）业务反映迟钝：在推出新的市场营销政策后，一般需要延迟很长时间（如1个月）才能得到这些营销政策的结果，不利于及时调整营销策略。而对于那些已经实现了省集中业务管理的运营商而言，其推出新的市场营销政策后当天就能反映市场的反映情况，及时获得各种统计分析结果。
（2）投资和维护成本昂贵：由于地市独立建设模式导致地市之间无统一规划，造成大量的投资重复和浪费，同时每个地市都需要大量的、高水平的维护力量。
为此中国电信和网通正致力于改变这个现状，希望通过建设省集中业务管理系统的方式解决以上问题。
但随着省集中系统的建设，由于其数据量变得非常庞大，所以集中系统也逐渐出现了很多问题，主要体现在：
（1） 数据量庞大，总数据量一般都达到10TB，如辽宁网通数据量达20TB。
（2） 业务复杂，在统一平台上完成大量的计费、结算、帐务、营业、统计分析和查询业务，
为此，在集中系统上出现了几个很严重的问题：
n 解决集中和分散的辩证关系：如何在集中系统上满足分散化的个性业务需求，提供地市自定义业务。
n 大量并发查询的性能问题：
n 报表系统效率问题：大量的并发业务使得系统的系统变得非常低下，尤其是报表业务的运行更是每个集中业务管理系统都面临的严峻问题。
硬件扩容的误导
为了满足性能需求，很多企业往往通过购买越来越大的系统，或者在现有的系统上扩充更多的CPU、内存等，以期望通过获得更多的内存、磁盘空间以及CPU资源来提高系统性能。
但不幸的是，这样的系统扩容的确能够在一定程度上提高系统的运行效率，但其性价比绝对是最低的，系统投资的增长速度远比系统所能获得的性能提高增长速度来得更快。
因为当多个系统运行在同一个系统上时，数据库的I/O瓶颈是整个系统的核心。
 因为当所有功能都运行在一个集中的大系统上时，不可能充分的有效利用系统资源，更容易造成大量资源的争抢矛盾。因为一个系统上的多个任务之间是不完全一致的，如在综合营帐上的业务就包括二次批价、帐单生成、帐务查询、收费、查询和统计分析等功能。这些功能在对数据库资源的占用上是相互矛盾的任务，对于如收费、账单生成等需要实时处理的任务要求快速插入和修改。而对于查询和报表类的性能要求大数据量查询。
单一的数据库实例在I/O争用上不可能满足各种任务的需求，如果把实时交易任务、报表任务和突发的实时查询都安排在同一个系统上运行的话，他们每一个系统都将变得非常慢。
因此当通过对系统增加更多的服务器处理能力时，并不能根本解决大量并发业务造成的I/O瓶颈和资源争用。
磁盘复制技术也存在一定问题
因为只要在同一个系统上支持大量的并发业务不可能解决I/O争用瓶颈，为此，一些存储产品提供商便推出磁盘复制技术，如BCV技术，True－Copy等类似技术，期望通过把生产数据拷贝出一个副本，在副本的数据库上提供如查询和统计分析类功能。
 该方案的确在很大程度上比单纯增加服务器处理能力来的更有效。因为可以将生产业务和查询统计类业务分开到不同的系统上运行，能够利用更多的存储资源、存储I/O带宽以及服务器处理能力。
但该解决方案仍然存在几个方面的不足，难以完全满足业务需求：
（1） 数据共享不实时
复制卷如果保持实时从源系统上更新的状态，那么复制卷的数据将不能被打开提供访问。只有当复制卷断开与源系统的复制关系后，才能将数据打开使用，那么在复制卷上就将不能实时反映源系统的最新变化，这种延迟往往为1天。导致不能从复制卷上提供最新数据查询和最新统计报表，更无法实现实时的对外数据接口。
（2） 无法实现按需复制
这种复制是存储层的物理复制，其复制单位一般以整个Database为复制单位，不能选择其中业务需要的几张表（Table），更不能选择表中的记录（Record），也不能对复制的数据进行转换。而在业务上副本系统往往只需要源系统的部分数据，如帐务查询功能只需要源系统上的账单数据，而不需要原始话单、缴费信息等大量的数据，这种按需复制可以大量减少副本系统的存储容量。但磁盘复制技术无法满足该要求。
（3） 不能实现N:1的数据整合
数据整合目的是实现N:1的复制，对联通分散在多个子系统上的相关数据复制到一个集中查询或统计分析库上，这样才利于联通的综合业务管理和综合统计分析。但磁盘复制技术只能将DB1映射到DB1，DB2映射到DB2，而不能将DB1和DB2都映射到DB3上，不能实现N:1复制实现数据整合。
（4） 不能提供更多的优化空间
优化是提高系统性能的关键，磁盘复制技术不能为副本系统提供有效的优化模式，因为系统优化的关键在于以下两点：
n 索引。对于需要实时交易处理的系统，其要求索引的数量少。如果在每次数据插入时如果需要修改大量索引的话，其性能很低。而对于报表系统则要求批量读取，如果存在必须的索引，这样数据的检索速度会大幅度。因此在数据库拆分以后，我们必须提高能够对不同应用的数据库建立不同的索引，以达到各自要求的最佳环境。
n 存储结构：不同处理性质的系统对存储要求是不同的。对于营业厅任务繁荣处理是属于OLTP性质的应用，他们最适合的数据库环境是小数据块、多回卷段，这样能保证每个交易处理的实时性，否则会造成前台操作响应速度非常缓慢。而对于报表任务的处理是属于OLAP性质的应用，他们最适合大数据块、大回卷段的数据库环境，因为这样才能够更好的提高报表处理的性能。
而磁盘复制技术不可能对上面两个因素进行调整。
DSG RealSync复制技术
DSG RealSync复制技术定位于数据库复制层，主要是对数据库数据提供复制功能，通过维护一个实时更新的数据库副本提供查询和统计分析功能。
该技术不同于ORACLE DATAGUARD复制技术，也不同于BCV技术。RealSync是通过安装在源数据库系统上的Agent，对源数据的新作交易（Transaction）进行跟踪，及时发现源端的改变数据，并获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化并实时压缩后通过网络传送到目标系统。
目标系统的RealSync Agent接收数据包，经过校验码检查，确认正确的数据包后，解压进行格式转化后按照交易的先后顺序在目标系统中执行该交易。
该技术与BCV相比的优势在于：
（1） 灵活的复制结构：支持1:N的复制，为每个业务复制复制一个副本；支持N:1的复制，实现企业数据的集中和整合。
（2） 按需复制：RealSync系统支持对指定信息的按需复制，如指定需要复制的表、字段和条件等，减少存储和网络带宽的成本。而BCV一般都是整库复制
（3） 实时数据更新：实时更新保证副本系统快速反映源系统的变化，提供账单查询、话单查询等的及时性。而BCV则是定时复制（一般为1天一次）
（4） 系统异构，可提供更多的优化空间：目标系统与源系统可采用不同的服务器和磁盘阵列，并且源数据库系统和目的数据库系统的可异构，主要包括索引规则等。
该技术与DataGuard复制技术的优势在于：
（1） 高性能，满足海量数据的性能要求。
（2） 更灵活的复制，支持按需复制，1:N复制和N:1复制。
（3） 支持夸OS平台和ORACLE不同版本之间的复制。
DSG复制解决方案
因此，将DSG RealSync应用于省业务支撑系统的系统优化部署，其结构将非常灵活：
 利用DSG RealSync的复制功能为省业务支撑系统系统的系统优化部署提供了多种应用：
（1） 独立查询系统：
将繁重的用户查询任务分解到独立的查询数据库上。通过RealSync实时复制功能将新增加的业务数据实时复制到查询系统上，用户可通过该系统查询到最新的消费情况。
（2） 独立的报表系统：
省业务支撑系统每月需要的数百张报表是系统的难题，为此可以通过RealSync将当月的生产数据复制到独立的报表系统上。所有的报表计算工作都转移到独立的系统上，不再影响到生产系统的性能，避免资源争用。
同时该系统也可以用于为经营分析系统提供原始数据来源。
（3） 其他个性化需求
同时，为了满足各分公司的个性化需求，还可以将集中系统的数据以地市为单位复制出来形成多个副本数据库，每个数据库只复制与该地市相关的所有数据，而不管其他地市的数据。实现“物理集中、逻辑分散”的解决方案架构。真正解决集中与分散的矛盾关系，使得集中的系统也能满足分散的需求。
总之，通过DSG RealSync复制技术为省业务支撑系统的优化部署提供了更多的发展空间，用户可以根据业务需求和资源情况灵活部署各业务模块。
参考案例
辽宁网通 本文出自 51CTO.COM技术博客 |
gulibin
博客统计信息
热门文章
最新评论
友情链接
