|
产品背景：
随着IT应用的不断深入，应用程序的升级、更换越来越频繁，尤其是BI在企业中的应用不断普及，对旧系统数据和不同应用系统数据的处理需求越来越多，以至于对数据库中数据的转换和处理逐渐成为新信息系统建立的关键。
在这些数据处理中，处理完数据的质量如何直接影响着新系统的正常运行。特别是数据仓库的建立，其数据内容都是从其他应用系统或者历史数据中转换而来，而这些数据是否完整、是否符合规则都直接决定着基于数据仓库上的应用系统能否上线及上线后的稳定性。比如：
证券公司在建立数据仓库的过程中，完成了从旧系统到数据仓库的数据转换工作，但是在1995年左右建立起来的交易系统中，对业务员输入数据的系统校验做的不是很完全（由于不影响交易的进行，所以在业务员输入数据时旧系统对有些字段没有进行合法性检查），例如：客户的开户日期输入为字符“2995-01-01”。但是，转换到数据仓库内的字段有可能变成29950101，这完全违反了业务规则。如果从成百上千万条记录中寻找这样的非法数据，采用手工或者现编程的方式来进行检查，其工作量和复杂程度可想而知，有时根本不可能完成。
所以，在进行数据处理过程中或者转换完成后，对转换完的数据进行一次彻底的、完整的质量检查非常必要，这些检查包括：
- 数据格式检查：检查数据的格式是否一致和可用。如：目标数据要求为int型。
- 数据长度检查：检查数据的有效长度是否符合规则。如：对于char类型的字段转换到varchar类型中，需要特别关注。
- 区间范围检查：检查数据是否包含在定义的区间内。如：年龄为300，或录入日期为4000-1-1。
- 空值、默认值检查：检查新旧系统定义的空值、默认值是否相同。如：不同数据库系统对空值的定义可能不同，需要特别关注。
- 完整性检查：检查数据的关联完整性。如：记录引用的代码值是否存在，特别需要注意的是有些系统在使用一段时间后，为了提高效率而去掉了外键约束。
- 一致性检查：检查逻辑上是否存在违反一致性的数据，特别是存在分别提交操作的系统等等。
POWER Inspector 正是适应这方面应用而产生的系统。通过POWER Inspector，操作人员只需要联接需要进行质量检查数据库和相关数据库，通过专用的用户界面设定检查规则，然后调用数据检查核心组件，POWER Inspector 就会按照设定的规则自动进行相应的数据检查操作，检查的结果会根据操作员的要求以文档或者载入数据库的方式展现出来。
POWER Inspector 一个非常重要的特点是支持对多种不同类型数据库的同时连接。比如：检查的目标是DB2，但是在进行数据检查时，需要读取Oracle和SQL server数据库中的相关内容来确立检查规则，如下图所示：
另外，也可以利用Inspector 来做数据迁移工作，进行边检查边迁移，把符合规则的数据迁移到目标数据库中，而把不符合规则的数据通过文档的方式检取出来，等待下一步处理。
| 
POWER数据质量检查系统
gulibin
博客统计信息
热门文章
最新评论
友情链接
