注册 | 登录 忘记密码? 51cto首页 | 博客 | 论坛 | 招聘
热点文章 模拟Linux客户端远程登陆L..
 帮助

Oracle数据库专家项目开发经验 之五(2006中国杰出数据库工程师评选)


2007-03-28 21:27:41
 标签:Oracle 项目   [推送到技术圈]

陈杰项目四:CNGI—示范项目
项目简介(功能与用途):

本项目在中国国家网格(China National Grid,简称CNGrid)目前的研究成果的基础上,进一步基于中国下一代互联网(China Next Generation Internet, 简称CNGI)构建网格平台,并在高性能计算、海量数据处理及信息服务等方面开展示范性行业应用研究,利用CNGI传输带宽高、服务质量好、安全性高等特点,解决这些行业领域由于目前网络原因无法有效解决的问题,提高行业领域的网格应用水平,真正为CNGI起到网格应用的示范作用。

面对生物信息学研究项目的主要研究内容包括:基于CNGI的中国国家网格升级改造,实现网格节点间高带宽的数据交换,高性能的数据通信,完善平台的安全管理与运行服务机制。生物信息研究是国家急需又有一定基础的应用进行研究与开发,是将生物信息网格服务运行在基于CNGI的中国国家网格平台上,满足行业应用的需求的重要工作。研制与开发基于CNGI的支持高性能计算、海量数据处理及信息服务的网格软件。

由于在CNGI网络平台上,网络性能有了极大的提升,因此大数据量的数据处理、存储、传输等工作将不在是瓶颈,我们可以将工作的重点放在如何更大限度的提升系统的运行效率和其它优化上。在数据库方面,将主要是如何让数据库以网格服务的形式进行工作。

项目运行环境:

  数据库
:SUN 10000(Solaris 8 + Oracle9i + MySQL4.0)
网格服务器:2曙光3000(AIX + PBS +GOS v2.0)
SUN 10000 (Solaris 8 + Apache2.0 + Tomcat5.0.28 + Java1.4.02 + GOS v2.0)
    计算服务器
: SGI Origin3800 (IRIX + PBS)
    网络协议及平台
:IPv6 + CNGI
项目难点与解决方法:

CNGI
平台是基于IPv6协议的,全新的基础平台,在这个平台上进行数据库开发和部署工作主要的技术难点是原有数据库服务的升级,以前全部的数据库访问都是基于目前的网络协议,并没有涉及到IPv6协议平台上的操作。

由于这部分工作主要是在网格服务中间件,如果我们所使用的网格服务中件间能够兼容IPv6协议方式,我们的系统直接利用中间件所提供的接口也将能够非常方便的实现操作。因此中件间开发部分对此在努力的进度尝试。新的网格中件间已经基本完成开发。

项目成功与失败的经验归纳:
这个项目目前还没有完全结束。项目本身是新的应用在CNGI平台上的示范,主要是为了利用CNGI平台来开展将来的工作。目前我们的进度可以了解到CNGI网络为我们这些应用提供了非常好的网络环境。一些服务已经运行于CNGI平台之上,这些服务的运行也证明了新的平台是能够为我们所用的。

对于我们的生物信息应用网格来说,全部的服务在目前的网络环境上运行情况一切正常,已经部署到CNGI上的其它服务的运行对我们的工作将起到非常好的推动作用。

你在项目中岗位与贡献:
  在本项目中,我是项目的负责人。同时是CNGI项目总体组成员。在项目中我主要规划项目的总体目标和阶段目标,同时也负责系统的设计以及实施工作。此外还有数据库的管理、维护工作等,也需要我的参与。


陈杰
项目五:其它项目
我的工作大部分同时涉及到计算机和生物技术两个专业,专业背景对我帮助非常大。因此在2004年底我就开始负责全部的生物学数据库开发工作。

到目前为止,我还参与开发过蝗虫EST数据库高原生态数据库水稻全基因组数据库II作物虚拟育种数据库“HLA配型数据库人类肝脏蛋白质组数据库肽分析实验室管理系统海啸遇难人员识别数据库健康信息管理系统(为公司目前在研产品)等等数据库系统。这里不一并介绍了,对于工作中的一些经验及感想我会在另一个文档中论述。

目前我们所使用的数据库主要是OracleMySQL。大部分开发都是基于这两个数据库系统来进行的。 
张乐奕项目一:项目名称
项目简介(功能与用途):

某大型证券公司异地备份计划,实现数据库异地安全备份。

项目难点与解决方案:
多家竞标,包括VeritasQuestDSG而我方主推的Oracle DataGuard是否能够在其它的备份方案中脱颖而出并最终获得客户的认可是项目开始的难点。而在真正实施时,如何妥善处理只有128K带宽的异地备份又是技术上的难点。

最终完美实施的项目解决方案是Oracle Data Guard + Cascade Redolog Transfer

项目成功与失败的经验归纳:
项目成功的经验总结:

1
精心策划给客户演示的方案,研究客户的真正需求,比如当时处于证券行业的低迷期,所以Data Guard的价格低廉是拥有绝对优势的,那么只需要在演示方案中证明Data Guard的效率和可靠性并不差于其它厂商主推的方案就一定能够获得客户的认可。

2
对于出现的技术问题,要勇于尝试各种新的解决方法,而不能仅在本问题上钻牛角尖,比如该解决方案中后来通过redolog的级联传输,就将产品环境通过一个局域网内的中转设备和最终的备份环境隔离开来,这样即使带宽不足以满足产品环境的工作负载,也不再会影响产品环境的正常运行。关于此问题的文章参看数据库工程师应用创新谈部分。

你在项目中岗位与贡献:
策划,设计,实施全部的演示方案,并全程参与客户沟通。

在获得客户订单以后,实施整个方案,并负责解决实施过程中遇到的所有技术问题。


张乐奕项目二:项目名称
项目简介(功能与用途):

某大型券商生产系统的异地同步项目,在异构的环境中不但完成同步备份而且支持异地报表查询功能。既满足了高可用性的要求又将报表的负载从产品主机上转移到备份机,提高了产品主机的工作效率。

项目难点与解决方法:
由于是异构的Oracle数据库环境,主机端是Solaris环境,而同步端则是Windows,而整个项目的实施时间又比较早,都是Oracle8i的环境,所以并没有诸如Oracle9i10g中的Streams可供选择,唯一的方案就是Advanced Replication。因为时间早,网上并没有太多的经验可以借鉴,所以技术问题是整个项目的难点。

最终通过大量的文档阅读以及实验成功地部署了整个解决方案。

项目成功与失败的经验归纳:
多阅读文档,多做实验,多与其它有相同需求的朋友交流,是整个项目能够成功的关键点。

你在项目中岗位与贡献:
在本项目中负责全部技术难点的攻关和解决。

通过本项目,完成了《Advanced Replication初步研究》这篇文档,这篇文档的下载量和权威性在itpub论坛甚或说国内的Oracle业界应该说都是具有领先地位和借鉴意义的。


张乐奕项目三:项目名称
项目简介(功能与用途):

恢复有RMAN备份但是正常方法无法恢复的数据库系统。操作人员误删除了用户(drop user),但是用RMAN恢复却显示没有可用的备份文件。

项目难点与解决方法:
由于近一周的0级备份由于磁盘容量的原因失败,而又由于使用了控制文件而非备份档案库来做RMAN备份信息的存储,导致前一周有效的0级备份信息被后一周的信息覆盖,所以正常的RMAN恢复流程无法找到可用的备份信息。

最终使用dbms_backup_restore包完成了数据库的恢复。

项目成功与失败的经验归纳:
1
时间要求紧,需要沉稳,沉着地解决问题

2
深刻理解Oracle数据库备份集的本质,并且对于一些不常用的package需要有了解

你在项目中岗位与贡献:
其实这是一个Oracle DBA的日常工作,只是比较有代表性的一个案例而已。 
王作敬项目一:期货综合业务管理系统(1.0~2.0)
项目简介(功能与用途):
期货综合业务管理系统(1.0~2.0):该系统主要包括期货经纪公司期货的集中交易、清算及风险控制等主要功能。

项目难点与解决方案:
期货综合业务管理系统(1.0~2.0)作为中国国际期货经纪有限公司的应用项目,当时国内还没有任何相关的系统可以借鉴,存在业务规则与技术选型的风险。

系统在采用SUN工作站,Solaris操作系统, Sybase数据库,开发工具则采用 C/C++(通讯中间件)与 PowerBuilder(客户端)。

项目成功与失败的经验归纳:
系统采用客户机+通讯中间件+客户机当时非常先进的技术架构,服务程序与通讯程序采用C/C++开发,采用TCP/IP协议,而客户展示则采用PowerBuilder,客户端与通讯中间件位于客户机,通过当时先进DDE协议进行数据交换。

你在项目中岗位与贡献:
本人作为该项目的技术负责人完成了下同的需求分析与总体设计并开发了通讯中间件全部功能与服务端部分功能。

王作敬项目二:证券与期货行情与分析系统(1.0~3.0)
项目简介(功能与用途):
证券与期货行情与分析系统(1.0~3.0):该系统主要包括证券、期货的实时行情、盘中盘后分析及相关信息分析等主要功能。

项目难点与解决方案:
证券与期货行情与分析系统(1.0~3.0)作为北京未来工程有限公司的核心产品,采用先进的windowns界面(当时相关系统如乾隆还停留在DOS界面),并很好的将股票与期货集成到一起,当时在国内属于首创。

该系统在采用SUN工作站,Solaris操作系统, Sybase数据库,开发工具则采用 C/C++(通讯中间件)与 PowerBuilder/ Delphi(客户端)。

项目成功与失败的经验归纳:
系统采用客户机+通讯中间件+客户机当时非常先进的技术架构,服务程序与通讯程序采用C/C++开发,采用TCP/IP协议,而客户展示则采用PowerBuilder/ Delphi,客户端与通讯中间件位于客户机,通过当时先进DDE协议进行数据交换。

该系统作为北京未来工程有限公司的核心产品,成为公司的主要收入来源之一。

你在项目中岗位与贡献:
本人作为该项目的技术负责人完成了下同的需求分析与总体设计并开发了通讯中间件全部功能。

王作敬项目三:金融街网站
项目简介(功能与用途):
该系统包括财经纵横、股评天地、个股档案、嘉宾在线、财富论坛、数据中心、行情宝、债券、行业、专题、B 股、我的主页、交易提示、即时行情等主要功能。

项目难点与解决方案:
金融街网站作为北京联合未来工程有限公司(金融界前身)商业化网站,在国内属于比较早的专业金融网,当年比较有名的还有和讯网。

该系统在采用PC Server服务器,Windows NT操作系统, Sqlserver数据库,开发工具则采用 HTML, C/C++, ASP

项目成功与失败的经验归纳:
该项目选定了微软的先进开发工具,为以后的版本升级与金融界的上市打下了比较坚实的基础。

你在项目中岗位与贡献:
本人作为该项目的技术经理完成了下同的需求分析与总体设计与项目的管理与质量控制。


王作敬项目四:证券综合业务管理系统(交易、清算、帐务)
项目简介(功能与用途):
证券综合业务管理系统(交易、清算、帐务): 该系统实现了集中交易、集中清算、资金帐务及风险控制等整个证券公司级的各个业务处理过程。

项目难点与解决方案:
证券综合业务管理系统为山西证券开发的应用产品,该系统在采用SUN工作站,Solaris操作系统, Bea Tuxedo 中间件,Oracle数据库,开发工具则采用 C/C++, Delphi

项目成功与失败的经验归纳:
系统采用领先的客户机+中间件+客户机技术架构,提高了系统的灵活性、扩展性与处理效率。

该项目由于山西证券的原因最后没有实施,这里值得总结的是一个系统要取得最后的成功只有先进的技术是不行的,还要有业务、管理等方面有效的配合才行。

你在项目中岗位与贡献:
本人作为该项目的技术经理完成了其中的核心交易需求分析与设计并开发了全部清算功能模块。




    文章评论
 
 

发表评论

昵   称:
验证码:  点击图片可刷新验证码  博客过2级,无需填写验证码
内   容: