Sybase交行客户信息分析系统解决方案

项目背景 

交通银行在信息化的战略主要包括二个方向的发展: 

业务处理集中化，主要体现在业务系统大集中上，取消了以往分散在各个支行的业务系统而将业务处理系统集中到总部，崭新的大集中业务系统能够理顺各地业务的不一致性，从而起到集约化管理的作用，降低了业务成本，提高业务流程的规范性和有效性。 

企业分析构架的建设，主要体现在银行集中精力进行数据仓库的建设，目标是创建企业核心的数据视图，从而满足越来越多样性的各种数据分析，和业务发展决策管理的需要。目标是通过数据仓库以及相关的数据集市分析应用帮助银行建立差异化的服务和特殊的业务管理能力，从而提高银行客户的满意程度，并相应地获取更大的市场份额和较高的利润率，最终使交行能够在激烈的市场竞争中处于更有力的态势。 

交行的客户信息系统就是银行的分析架构的重要组成部分，其基本定位如下: 

— 客户综合信息系统是交行数据大集中工程的重要组成部分，是建立在交行数据大集中工程的三个生产系统所产生的客户业务数据信息的基础之上的一个客户信息的收集、整理、分析、应用的系统。 

— 客户综合信息系统属于后台的集成管理信息系统，是决策管理层面的重要组成部分，在功能层次上与其它生产系统的区别在于，它是侧重于客户的业务信息的分析系统，而不是侧重于客户业务的流程控制管理的系统。 

— 客户综合信息系统的目标是建立全行的客户信息的单一视图，有效的汇集客户、机构、产品、账户、渠道等分析要素的基础信息，成为一个服务于我行各级管理决策人员和业务分析人员的公共信息查询分析平台，使全行的客户信息能够共享，它服务的对象是业务管理部门、营销部门以及与客户信息相关联的非业务部门。 

— 客户综合信息系统也是一个营销工作的管理平台。?建立基础框架，为后续的深度开发内容做准备。一期的开发内容不仅需要解决客户的基本信息查询分析，满足当前的营销管理、考核辅助等应用问题，还需要在 系统的基础框架设计方面为后续的深度开发做一些准备，诸如产品清理、产品的毛收入的分析、主题分析的可扩展性等，以便能与未来的系统开发内容对接。 

项目建设的评估和过程 

Sybase IQ是Sybase针对数据查询和数据分析应用而设计的关系型数据库系统，具有数据压缩，高效率即兴查询分析，和线性可扩展的特点，其开放的架构以及标准的访问接口非常适用于面向大数据量情况下的数据集市以及以分析为主的业务应用使用。 

2005年4月起，交行进行了一系列针对Sybase IQ的测试，Sybase IQ表现出在普通的硬件环境下远超过一般数据库运行性能的结果。IQ与OLTP数据库相比存储原始数据的存储比为1 vs 3-8，索引化数据后存储比达到1 vs 3, IQ可以预先优化索引而且索引的空间很小和建造索引的时间很短，对不同查询无需改变索引，无需人工干预; 从测试来看IQ能够高速地进行大数据下的复杂查询操作，性能是传统数据库的2-20倍，而且IQ使用资源与传统数据库不同，IQ主要提高了CPU的使用效率，而并不依赖于I/O性能的提高; 从并发操作来看，IQ具有更好地满足大用户并发条件下复杂查询的能力在多用户并发下查询效能降低很慢。 

交通银行根据IQ在测试中表现出的: 出色的数据压缩比，高性能的汇总和查询能力以及存储过程的灵活方便性选择IQ作为客户数据分析平台的数据库。 

根据技术测试的情况，重新规划的整体系统的构架如下: 



系统为集中访问的架构，各分行通过Intr.net集中访问总部的数据分析集市。交行采用ETL服务器DataStage从业务系统上抽取数据到ODS服务器的DB2数据库上，然后进行ETL处理生成需要IQ需要的数据文件进行装载，在IQ中更具需要进行一些汇总处理，分行或总行客户端通过应用服务器直接访问IQ数据库的数据。 

项目成果 

客户综合信息系统，目前数据库数据存储超过 100GB，总共的应用用户数量12000，平均在线用户数量260人，每天增量加载数据量为3GB，数据汇总处理时间 30-60分钟，每年新增数据存储约300G。 

系统的整体效率也获得很大提升，整个批处理汇总处理时间由原来3小时减少到1小时; 目前系统最大的单表数据已逾3亿，用户对任意时段数据的查询速度有了大规模的提高，其中95%查询都是秒级内完成，只有5%左右的复杂查询是分钟级。 

系统软硬件平台 

服务器:IBM P690, 8 CPU, 32G mem 

磁盘阵列: EMC Symetrix 

数据库服务软件: Sybase IQ v12.6 For AIX 64bit 

客户综合信息系统，目前数据库数据存储超过 100GB，总共的应用用户数量12000，平均在线用户数量 260人，每天增量加载数据量为3GB，数据汇总处理时间30-60分钟，每年新增数据存储约300GB。 

原文转自：http://www.ltesting.net