Sybase IQ黑龙江移动综合统计系统应用案例

领测软件测试网

项目背景

黑龙江移动拥有黑龙江省移动通信市场最大的市场份额，随着新BOSS项目的实施，商业智能问题也变得越来越重要了。

数据是黑龙江移动最有价值的企业资源之一，也是黑龙江移

动业务运营支撑系统BOSS的核心基础，如何将数据资源在企业内部充分共享并最大化体现发挥其价值是目前黑龙江移动信息化建设中倍受关注的一个重点。

同时，随着移动业务的迅猛发展和移动用户的迅速增加，各类业务报表需求量一直呈上升趋势，报表业务对BOSS系统的影响越来越大。因此，建设一个与BOSS系统相对分离的报表系统，快速地、体系化地满足各类业务部门和相关系统的统计和分析需求已经势在必行，它将是企业统一的基于运营数据服务应用的中间存储层(ODS)。

定 义

BOSS: 业务运营支撑系统。

ETL: Extract Transform Load，抽取、转换、装载。

ODS: Operational Data Store，操作数据存储。

系统目标

以运营数据为基础，统计分析需求为驱动，建立综合业务数据平台，为业务统计分析提供运营数据和分析数据;

开发完成各类报表统计功能，包括移动公司上报集团公司报表，省中心内部管理的营帐报表，财务报表，香港公司报表，结算报表，数据业务报表，市场经营分析系统报表及一些临时要求的报表;

建立完善的数据抽取、转换、核对过程，提高数据的质量;

建立统一用户管理和权限管理机制，保证系统的安全性;

通过技术手段以及管理流程的规范化，充分保证系统数据的一致性。

系统应能提供报表自动生成工具，提供灵活、准确、完善的报表。统计分析人员能够根据相应的需求，依照相应的统计要素之间的逻辑关系，组合提取相关数据并编制各种统计、分析报表，并以报表、文件、饼图、直方图等多样化的报表展示方式提供。统计管理结构为树状结构，每一层为一个统计级别，最高级别是省级，最低级别是营业员级。系统应支持不同级别业务人员的不同统计范围。管理者可根据各自的需要动态获取统计要素，生成正式的统计结果数据，并形成各种统计分析报表。

平台和软件

平台部分

主机   IBM RS6000 P650 8×2GHz CPU/16GB Memory/135.5GB Disk

操作系统   IBM AIX 5.2 ML3

存储   IBM 2105 F20(Shark)

软件部分

数据仓库产品   Sybase IQ

报表工具   COGNOS  JAVA.

IQ数据仓库物理设计

IQ数据仓库空间部署

现运行的IQ版报表系统数据空间是2.4T，临时空间是1.2T，数据仓库总空间为3.6T。

数据仓库应用空间部分

IQ数据仓库应用部分主要分三大部分:

原始数据部分(ETL子系统)

目前IQ数据仓库的详单是按6+1方式存放:

现计费每月详单量是400G，

帐单及客户资料等营帐数据量是150G，

由于IQ数据仓库能将数据按一定比率进行压缩保存，压缩比率在50%左右，一个月所需原始数据空间在250G左右。

汇总数据部分(ODS子系统)

汇总层数据目前是按12+1方式存储，每月汇总数据量是100G左右，压缩后汇总数据空间在50G左右。

结果数据部分(应用子系统)

结果数据是永久保存，每月数据量在5G左右。

功能需求

功能划分

黑龙江省综合统计系统的逻辑结构如下图所示:

如图所示，系统逻辑结构分为四部分: ETL子系统、ODS子系统、报表应用子系统及元数据管理，从数据处理角度来看，系统完成以下过程: 从各生产系统中抽取业务数据，生成接口文件，通过数据清洗、转换、加载，将数据倒入ODS中，生成各种业务明细数据; 通过用户级汇总，将明细数据(如详单等)进行汇总，并进行业务数据整合; 通过业务级汇总进行不同业务角度的汇总; 在用户级汇总数据和业务级汇总数据的基础上，根据具体报表需求，进行报表数据统计，结果保存，利用报表生成工具，进行报表灵活定制，并实现报表发布。

图中的智能网神州行数据指神州行用户基本信息、神州行用户冲值信息、神州行用户黑名单信息等数据，该部分数据保存在神州行系统中，需要华为公司给提供相关数据。

图中的外部数据接口是指经营分析接口、MIS接口等。

功能描述

黑龙江报表系统的功能结构图如下所示:

ETL子系统

ETL子系统负责从生产系统提取数据，并加载到ODS数据库中。包括以下数个功能。

数据抽取功能

数据抽取功能主要完成从数据源中抽取数据仓库需要的数据，满足统计分析的需要。同时，将保证不影响业务系统的处理，实现报表系统与生产系统的分离。

由于详单数据有相应的详单数据文件，所以详单数据的抽取比较简单，就是用FTP的方式获取相应的详单文件。

营帐数据的抽取分为增量抽取和完全抽取两种，能够实现增量抽取的进行增量抽取，无法实现增量抽取的只能进行完全抽取。

数据转换功能

数据转换功能主要完成从业务系统中抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、拆分、汇总等处理，保证来自不同系统、不同格式的数据的一致性和完整性，并按要求装入数据仓库。

如果报表库和生产库的数据库环境不同，还需要根据数据库的差别进行一些字段的转换。

数据加载功能

数据加载功能主要完成将从业务系统中抽取、转换后的数据加载到数据仓库系统中。

报表系统中数据的加载是很重要的，对加载的性能要求很高，数据的加载操作必须准确及时的进行，否则后续的业务都无法进行。

数据审计功能

数据审计功能主要完成在每个数据加载周期中，保证数据仓库系统中数据同数据源中数据业务意义上的一致性及数据的准确性。审计工作功能在数据抽取、转换、加载等所有的阶段都要进行。

错误处理功能

错误处理功能主要完成检查数据获取过程中出现的错误，并对错误信息进行分类提示，协助管理、技术人员及时对错误进行处理。

ODS子系统

ODS子系统负责存储、管理及汇总业务数据，为报表子系统和其它外部应用提供数据。具有以下功能。

应用子系统

应用子系统负责进行报表统计、生成、发布及前端展示。根据业务及报表统计需求，包括上报集团公司报表、上市融资报表、移动业务统计报表、财务报表、经营分析报表等，并将统计结果保存在数据库中，避免定制报表数据重复统计，提高报表查询速度，并可保留报表历史数据。充分利用前台展示工具进行报表定制、发布及前端展示，实现高效及时的报表开发。

元数据管理

元数据管理涉及到数据仓库构造、运行、维护的整个生命周期，包括业务元数据和技术元数据。系统利用先进的元数据管理工具在ETL、数据仓库、数据集市、前端展现四个方面对元数据进行分别管理。

应用效果

在经过近五个月紧张的设计与实施工作后，黑龙江移动综合统计系统上线，主要效果体现在以下几点:

各分系统数据集中统一管理

现有综合统计系统将各分系统的原始数据统一抽取到Sybase IQ数据仓库中，为经营分析、MIS系统、综合统计系统建设一完整的数据仓库，使原来分散的数据源能够统一到IQ数据仓库，整合了数据源，完善了统计工作。

及时完成各类统计及报表分析

原系统的汇总及应用程序运行时间长，有的甚至需要运行十几二十小时，在目前的Sybase IQ数据仓库中，已将时间缩短到五分之一，甚至更多，一个月9亿多记录的详单表，原程序需要运行二十小时，现在Sybase IQ数据仓库中只需三个多小时就能完成全表的数据汇总，大大提高了统计效率，从而很好的保证了各类统计的时限要求。

高效率的加载、存储和查询

Sybase IQ数据仓库的数据加载速度可达到每分钟两百万，为后续作业节省了大量时间，在很短的时间就完成所有数据的加载。

IQ数据仓库的数据存储能将数据做一定比较的压缩，也节省了很多存储空间，降低了系统的建设成本。

IQ数据仓库的查询速度特别快，对千万级的表做查询，也是在秒数据级就能返回结果。

具有很好的兼容性和扩展性

Sybase IQ数据仓库具体很的兼容性，对前端工具COGNOS，对JAVA等都能很好地集成应用。

对存储空间的扩展也很好，不需要初化设备，保证了系统的稳定及将来应用发展需要。

客户评价

　　

在黑龙江移动综合统计系统上线后，黑龙江移动对目前系统的效果比较满意，从各类统计的时间要求、高效的查询速度、数据源的集中统一、后期的简单维护等都达到系统建设目标。

　　

并且在下一期的黑龙江移动BOSS1.8的系统改造中将继续使用Sybase IQ做为黑龙江合统计系统的数据仓库。

文章来源于领测软件测试网 https://www.ltesting.net/