背景
随着通信技术的不断演进和竞争格局的不断变化，目前各电信运营商都在逐步由单一的通信运营商向综合通信运营商转变，其核心网络则由电路交换网络逐步向分组IP 网络过渡。在下一代通信网络
|
|
传统的IP网管系统软件供应商主要是一些国外公司，但在其网管平台上进行二次开发都存在底层代码不开放的问题，影响了运营商对网管系统核心的掌握和控制力度。东信金通作为国内著名的传统电信设备供应商已经有十年的历史，从2000年开始投入大量资金和研发人员进行该网管系统的开发，购买了网络设备建立试验开发环境，在CMNet浙江省网上进行了现网环境的开发试用。通过试用运行过程中不断发现问题，并根据客户需求不断对系统进行修改、完善，使网管产品日臻成熟，并走在国内同类产品的前面，成为一个技术成熟、满足客 户化需求的商用产品，打破了国外公司对这个领域的垄断，其核心IPNet Manager网管系统有几个特点: 一、综合的电信级产品，管理功能强大，不仅能够管理传统的互联网络设备，而且可以管理目前多种多样的业务设备，对各种 业务进行状态监控、性能统计和趋势分析; 二、软件基于开放平台，遵照TMN的管理目标进行开发，研发起点高，二次开发简单，易于客户化，能够不断根据客户 需求定制和完善系统，可扩展能力强; 三、在正式商用前就开始现网试运行，在试运行中发现问题、解决问题，系统经受了现网考验，得到不断完善和强大。
广东移动IP网管系统面临技术挑战
广东移动业务系统的IP网络管理系统，主要承载广东省内所有WAP / 彩信 / KJAVA 等业务访问的管理，其包含15个IP交换系统，用来支持对移动ICP的内容访问，这些访问的信息包括用户的访问情况，网络服务质量，交换信息等等; 其日数据行数巨大，仅WAP业务一项，目前每天 超过6亿行(ROWS)，且保持着相当高的增长速率; 而且广东移动还承载全国的KJAVA信息的管理的任务。
尽管IP网管已经是一个非常成熟的系统，但广东移动有其特殊的业务需要，以前不需要系统包存原始CDR数据进行精确的业务分析，如单一电话的一段时间内的访问模式，而广东移动需要能够查询到某用户某时间段内的具体访问情况的原始记录，以此作为投诉以及故障解决的原始信息;同时，需要能够准确按日/周/月统计无重复访问用户数;同时，还涉及到多业务系统间的关联分析，例如:同时使用2项或者3项业务的用户数，仅使用一项业务的用户号码等等，以此数据为业务开展和新业务开拓做数据支持。同时对不同移动的ICP进行业务访问流量和次数进行排名分析。这使得以前应用中简单模糊的统计方法必须让位于精确地对大数据据量进行存储和分析的做法。
鉴于以上需求，在数据库端，必须保存最原始的数据，还需要保存相当长时间至少要保存六个月以上的跨度数据;另外在大量数据持续加载到数据库的同时还需要做大量的汇总计算工作，常规的数据库产品承受起来有相当大的压力，不能满足数据管理运行的需要。
项目的评估测试过程
移动IP网管系统是东信金通公司为广东移动开发的创新的业务管理系统，在2005年5月已经基本上开发完毕，但由于数据量已经远远超过目前系统可承载的规模，东信金通重新考虑了整个系统的构架，经过3个月的内部测试和客户真实环境测试，东信金通考虑采用SybaseIQ来存储WAP/彩信/KJAVA的原始CDR数据，并进行相应的各种数据分析。
Sybase IQ是Sybase针对数据查询和数据分析应用而设计的关系型数据库系统，具有高效的数据压缩技术，支持高效率即兴查询分析，和线性可扩展的特点，其开放的架构以及标准的SQL访问接口非常适用于对大数据量的分析应用使用。
测试的情况是按照以下业务需求来确定的:
A、解决数据存储的问题，按目前计划，在线保存2个月以上的原始话单; 仅WAP一项，其数据行数，超过360亿行，存储空间超过5TB; 存储压力巨大。
B、数据装载的压力，每天超过 80G的数据需要装载。而且是不间断的数据加载。
C、大量的数据汇聚计算，从一个数据源中的每个字段都可以引申出一种查询请求。
D、整个系统是24×7×365不间断运行的，需要稳定的运行环境和无需停顿的维护。
整个构架的图如下:
整个系统包括数据采样系统，数据管理系统IQ以及应用管理服务系统，每台数据采集机负责一个数据交换点的数据采样, 负责从各个交换机以及厂商的SERVER上采样原始数据,在采集机上通过转义程序，形成数据装载文件,传输到IQ主机,IQ主机的装载守护进程，实时扫描新的数据文件,一旦发现有数据文件就马上装载到IQ;以5分钟为一个单位看，5分钟内能够上传30多个文件 ，一个文件大约30M大小, 大约1G多一点，大约300万行数据左右。
在这样的持续数据加载的同时，IQ还要负责持续的数据统计，按照17种统计口径对每15分钟周期的数据进行汇总，同时还要按照小时，天，周等不同计量单位对数据进行二次汇总和多次汇总。
在用户环境测试中IQ表现出强劲的性能特点，装载上能够达到每天持续14亿条记录的装载，在数据表上已建立各种需要的索引情况下，数据压缩率基本上达到94%。在单表8.6亿条记录的情况下，无论是全表扫描条件定位操作可在10秒内完成，而对于制定时段的定位操作都能够在秒级内完成; 而且大数据量下汇总操作也能够在1分钟左右完成，考虑到系统试运行于CPU速度很低的平台，这样的结果能够充分满足未来数据量增长情况下各种统计分析的需要。
项目当前的运行状况
2005年9月测试完成后，东信金通根据IQ的特性对 WAP/MMS/KJAVA业务查询分析模块进行了改写，从而满足了广东移动未来业务发展的需要。从已经上线的一期来看，日装载原始文本数据超过80G，单表记录超过7亿行; 用户数据存储量目前已经超过2.6TB。查询方面，目前采用的是定时计算，通过存储过程产生数据CUBE，面向最终报表和分析系统; 在定时汇聚计算方面，每个小时周期内，可以完成至少4次小时数据汇聚，这样很好的保证了系统的扩展能力。
在存储方面，实际磁盘开销，略低于原始数据文件的大小，在充分满足查询需求的基础上，很好的控制了空间的膨胀，降低了存储代价。
系统未来发展
随着广东移动业务的进一步发展，网管系统未来会把网络流量，网络设备告警等信息纳入分析范畴，从而增强业务管理能力，原来的设计这些数据只能保存一周，未来将能够长时间进行保存。这个系统最终将达到用户数据存储将为6TB，从而满足移动6个月数据保存的要求。
这个项目的成功标志着在移动IP网管领域，东信金通基于Sybase IQ的网管管理软件在全国成为第一家能够满足移动要求的支持海量数据存储和业务管理发展需要的创新产品，具有非常强大的辐射影响力。
系统配置状况
用户生产系统的配置状况如下:
服务器:Sun v890,12 CPU,32GMEM
存储阵列:Sun 3510
数据库软件:Sybase IQ v12.6 For Sun Sparc 64bit
用户评语
项目一期实现了多个业务系统数据的实时装载，小时分析，日分析; 响应时间也基本在可接受的范围内。IQ突出的装载性能，以及良好的查询计算能力，给我留下了深刻印象。
东信金通据构架师 杨睿
从项目一期的结果来看，日装载原始文本数据超过 80G，单表记录超过7亿行，用户数据存储量目前已经超过 2.6TB。在充分满足查询需求的基础上，很好的控制了空间的膨胀，降低了存储代价
文章来源于领测软件测试网 https://www.ltesting.net/
版权所有(C) 2003－2010 TestAge（领测软件测试网）|领测国际科技（北京）有限公司|软件测试工程师培训网 All Rights Reserved
北京市海淀区中关村南大街9号北京理工科技大厦1402室 京ICP备2023014753号-2
技术支持和业务联系：info@testage.com.cn 电话：010-51297073