电信经营分析系统技术交流.ppt





《电信经营分析系统技术交流.ppt》由会员分享,可在线阅读,更多相关《电信经营分析系统技术交流.ppt(101页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、电信经营分析系统技电信经营分析系统技术交流术交流第一部分:公司介绍第二部分:需求说明第三部分:解决方案第四部分:问题交流目录Part1 公司介绍公司介绍第一部分:公司介绍第二部分:需求说明第三部分:解决方案第四部分:问题交流Part2 需求说明背景企业经营发展的结果以业务为中心话单量小、业务少、用户少以客户为中心大数据量、业务多、异构数据、决策分析技术发展的结果数据库与数据仓库人工智能数据挖掘联机分析企业信息化的四个进程企业信息化的四个进程数据信息知识施效在线分析数据挖掘客户关系管理数据仓库=营销自动化=销售队伍自动化=客户服务与技术支持=事实发生了什么?=为什么会发生?=对象是谁?=还会发生
2、什么?经营分析系统信息流图经营分析系统信息流图 建设目标qq建立一个统一的数据信息平台建立一个统一的数据信息平台qq采用先进的数据仓库技术和分析挖掘工具,提取数据采用先进的数据仓库技术和分析挖掘工具,提取数据中的有价值信息中的有价值信息qq为企业的客户服务、市场营销等工作提供科学有效的为企业的客户服务、市场营销等工作提供科学有效的支撑,提升企业的运营水平和竞争能力,体现以客户为支撑,提升企业的运营水平和竞争能力,体现以客户为中心的经营理念中心的经营理念建设原则qq两级系统,三层结构两级系统,三层结构qq整合业务数据、面向经营分析整合业务数据、面向经营分析 qq能通过多种手段实现业务智能能通过多
3、种手段实现业务智能qq主题可扩充、新增及重构主题可扩充、新增及重构qq成为业务决策者专业的咨询顾问成为业务决策者专业的咨询顾问 qq经营分析系统的开发与建设将分阶段进行经营分析系统的开发与建设将分阶段进行系统功能支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成开放的应用程序接口和工具提供统一的数据仓库平台,支持后续应用和扩展可定制化的客户界面统一的用户和权限管理机制主题分析及专题分析主题分析及专题分析前前端端用用户户/浏浏览览器器应应用用服服务务器器/Web Server业业务务主主题题分分析析服务质量模块服务质量模块用户分析模块用户分析模块业务分析模块业务分析模块
4、收益分析模块收益分析模块市场营销分析模块市场营销分析模块市场竞争分析模块市场竞争分析模块新业务分析模块新业务分析模块合作服务方分析模块合作服务方分析模块大客户分析模块大客户分析模块专专题题分分析析业务业务(含新业务含新业务)专题专题市场、竞争专题市场、竞争专题大客户发展、异动专题大客户发展、异动专题客户专题分析客户专题分析数据仓库数据仓库数据仓库数据仓库业务管理模型业务管理模型Part3 解决方案解决方案技术体系结构技术体系结构主要厂商产品介绍主要厂商产品介绍体系结构BOSSMIS/OA网管网管其它数据源其它数据源数数据据源源qBOSSBOSS系统系统q网管网管q客服客服q其它其它1 数据源B
5、OSSMIS/OA网管网管其它数据源其它数据源数数据据源源数据源数据源数据源数据源q省BOSS系统的数据:批价后的详单帐务数据欠费记录缴费记录欺诈记录客户信息资源记录营业记录投诉记录查询记录结算数据人工录入的信息q网管系统的数据 热点小区 接通率 故障信息q客服数据 投诉信息 服务状况q其他数据 人工输入数据源细分数据源细分v计费子系统:计费子系统:n通话详单(原始、计费后)、详单格式通话详单(原始、计费后)、详单格式n计费使用费率表计费使用费率表n错误话单错误话单n结算话单结算话单v帐务子系统:帐务子系统:n帐务数据帐务数据n欠费记录欠费记录n缴费记录、缴费方式缴费记录、缴费方式n欺诈记录欺
6、诈记录v营业子系统:营业子系统:n用户资料及信用度用户资料及信用度n资源使用记录资源使用记录n营业厅、营业员资料营业厅、营业员资料v客服子系统:客服子系统:n投诉记录投诉记录n用户查询记录用户查询记录v网管系统:网管系统:n接通率数据接通率数据n掉话率数据掉话率数据v手工录入数据:手工录入数据:n市场调查结果记录市场调查结果记录n市场宣传费用和形式记录市场宣传费用和形式记录v流水型增长数据:流水型增长数据:n通话详单(原始、计费后)通话详单(原始、计费后)n错误话单错误话单n帐务数据帐务数据n欠费记录欠费记录n缴费记录缴费记录n欺诈记录欺诈记录n资源使用记录资源使用记录n投诉记录投诉记录n用户
7、查询记录用户查询记录n财务数据财务数据n物流数据物流数据n市场调查结果记录市场调查结果记录n市场宣传费用和形式记录市场宣传费用和形式记录v变化更新数据:变化更新数据:n计费使用费率表计费使用费率表n缴费方式缴费方式n用户资料及信用度用户资料及信用度n营业厅、营业员资料营业厅、营业员资料BOSSMIS/OA网管网管其它数据源其它数据源数数据据源源数据获取层数据获取层2 数据获取层数据来源数据来源首先直接快速传输到分段存储区,再从分段存储区首先直接快速传输到分段存储区,再从分段存储区经过清洗、转换、映射等复杂的数据移动处理转移经过清洗、转换、映射等复杂的数据移动处理转移到目标数据仓库中。到目标数据
8、仓库中。以保证数据的快速导入而尽量减小对业务系统以保证数据的快速导入而尽量减小对业务系统造成的压力。造成的压力。有数据库和文件二种方式,分别对应于不同运有数据库和文件二种方式,分别对应于不同运营系统的数据源。营系统的数据源。数据集成数据集成 异构数据源整合异构数据源整合临时存储区(Staging Area)BOSS与经营分析系统的连接方案与经营分析系统的连接方案计费营帐经营分析系统经营分析系统DW客服采集BOSS系统ODS文件加载,例如采用sql*load数据集成,例如采用OWB,Pl/Sql,CA Advantage Data Transformer数据清洗、转换,如采用OWB,Pl/Sql
9、Sql*Load实现方式实现方式q1、掌握源文件的文件格式q2、定义目的ODS的对应表结构q3、编写执行的脚本q4、运行脚本q5、查看运行的日志例子:将pt0431文件的记录装载进入表cc_test中实现:1、依据文件pt0431格式和表cc_test的结构,编写脚本jl.ldr:LOAD DATAINFILE./pt0431INTO TABLE cc_test(文件格式与表结构对应关系定义)2、编写控制脚本jl.sql:sqlload userid=ht/hello control=jl.ldr log=jl.log3、执行:#sh jl4、查看日志文件jl.logPl/Sql实现方式实现方
10、式有些数据需要经过程序处理后才能很好的被使用。例如:基于批价详单来分析话务流向时需要利用详单记录中的Other_party字段。Other_party可能的存在形式:1795X+固定电话号码;013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+电话号码;特殊号码:110、119、1861等;172X1X2;只有经过一定的处理,才能分析去话的方向是联通、电信,国际,特殊呼叫等适用于随机获取数据适用于随机获取数据 ETL 环境和处理流程来源来源来源来源 OLTP OLTP系统系统系统系统数据转化引擎数据转化引擎缓存缓存缓存缓存来源来源 主机或主机或 C/S 系统系统转化引擎
11、转化引擎数据仓库数据仓库企业元数据数据集市数据集市数据集市数据集市数据集市数据集市数据集市数据集市扫描元数据要求资源规划交付用户流程用户流程数据仓库数据仓库监控任务调度数据抽取数据清洗数据转换数据加载索引建立数据聚合元数据导入元数据维护BOSSOANMSELSE抽取策略抽取策略1、对于有时间线的数据增量抽取,例如:服务信息表,由于有处理时间,可增量抽取2、没时间线的数据则完全抽取,例如客户信息表3、明细帐单、综合帐单在出帐后,例如出帐后第二天 抽取4、对于文件,象BOSS系统的结算清单、计费清单按文 件生成周期实时抽取3 数数据据存存储储层层BOSSMIS/OA网管网管其它数据源其它数据源数数
12、据据源源数据存储层数据存储层基础数据仓库数据来源数据来源数据结构数据结构3NF3NF星型结构星型结构雪花结构雪花结构完整性和有效性检查,对冗余和不一致完整性和有效性检查,对冗余和不一致的数据进行了清洗和转换。的数据进行了清洗和转换。数据量将非常庞大。数据量将非常庞大。q3NF减少数据冗余减少存储容量灵活的扩展能力执行效率相对较低数据集市数据仓库的子集,主要面向某特定主题。数据仓库的子集,主要面向某特定主题。数据来源数据来源对基础数据仓库中数据的复制、分布或聚合对基础数据仓库中数据的复制、分布或聚合数据结构数据结构星型结构星型结构qStar-Schema存在数据冗余相对较大容量维变化时,需重新建
13、立执行效率高粒度选择粒度选择多重粒度级别中央数据仓库采用低粒度级,例如,客户月通话详单 -高细节数据,能回答所有问题,但分析效率较低;数据集市采用高粒度级,例如,客户月通话综合信息-低细节数据,能回答部分问题,但分析效率高;如果高粒度数据也包含分析所需的足够的细节,则高粒度数据的使用效率会提高很多中央数据仓库与从属数据集市中央数据仓库与从属数据集市中央数据仓库客户信息客户信息Cust_IDMsisdnAge_levelCust_TypeCity_Code通话详单通话详单Call_TypeMsisdnStart_DateStart_timeCall_duration.帐户信息帐户信息Accoun
14、t_IDCust_IDLfeeCfeeDiscount_fee其它信息其它信息Cust_IDMsisdnAge_levelCust_TypeCity_CodeCust_IDMsisdn客户通话行为分析客户消费行为分析其它分析依据分析的需要Map数据数据仓库完整构架数据仓库完整构架Data Marts Data Mining OLAPAnalysis Mart MartStaging AreaData WarehouseOperational DataExternalDataArchiveDataManualDataBusiness Users4 数据访问层信息处理信息处理查询和报表分析处理分析
15、处理基本的OLAP操作数据挖掘数据挖掘知识发现BOSSMIS/OA网管网管其它数据源其它数据源数数据据源源数据访问层数据访问层举例:话务流向分析 维:通话日期、通话时间、对端号码,共3个维;分析指标:通话次数,通话时长实施:建立一个3维的数据立方体,对指标采用切片、钻取、旋转等方法进行分析多维数分析多维数分析时间时间日期日期对端号码对端号码同一时刻话务流向分析同一时刻话务流向分析12:00OLAP分析方法一【切片】分析方法一【切片】12:00日期日期对对端端号号码码OLAP分析方法一【切片】分析方法一【切片】时间时间日期日期5月月1日日对端号码对端号码同一日期话务流向分析同一日期话务流向分析5
16、月月1日日对端号码对端号码时时间间OLAP分析方法一【切片】分析方法一【切片】流向同一运营商的话务量分析流向同一运营商的话务量分析时间时间日期日期联通联通对端号码对端号码联通联通日日 期期时时间间时间时间日期日期年年季度季度季度季度月月月月月月月月对端号码对端号码OLAP分析方法二【钻取】分析方法二【钻取】在同一个维上,按不同的层次来分析OLAP分析方法三【旋转】分析方法三【旋转】将年份和季度交换坐标基于基于WEB的展现方式的展现方式对数据进行可视化的分析,分析结对数据进行可视化的分析,分析结果的展现方式有以下几种,并且各果的展现方式有以下几种,并且各种形式之间可以相互的转换:种形式之间可以相
17、互的转换:1柱状图;柱状图;2相对柱状图;相对柱状图;3累计柱状图;累计柱状图;4饼图;饼图;5散点图;散点图;6折线图;折线图;7趋势图;趋势图;8网页表格;网页表格;9表格中的数据倒出到表格中的数据倒出到Excel报表报表WEB展现示例【柱图】展现示例【柱图】WEB展现示例【展现示例【3D柱图】柱图】5 元数据关于数据的数据技术元数据操作元数据业务元数据贯穿全过程BOSSMIS/OA网管网管其它数据源其它数据源数数据据源源元数据管理元数据管理元数据管理元数据管理业务定义业务定义属性定义属性定义DA/DBA ToolErwin抽取规则抽取规则,转换规则转换规则ETL Tool报表格式报表格式
18、,过滤过滤,分割等分割等DSS Tool数据库数据库元数据元数据双向自动无连接业务定义业务定义OtherExcelBusiness Users数据仓库开发数据仓库开发元数据管理元数据管理Intranet/Extranet-Definitions-Domains-Names6 系统管理系统管理安全安全备份备份安全体系结构安全体系结构 系统安全安全的层次每个层次均需要相应措施保证数据库、应用、网络网络层防火墙电子认证加密安全层次数据库层密码数据库权限控制应用层安全用户身份认证按照操作对象和操作类别规定各操作员的权限保证身份的有效性和不可抵赖性采用口令密码方式,可以向数字证书升级数据加密服务和数据权
19、限容灾与备份:概述什么灾?火灾、地震、洪水系统故障:硬件、操作系统、数据库.应用故障:设计时考虑不周误操作黑客入侵、故意破坏容灾方法以备份系统代替主系统,并及时恢复主系统数据复制其它:地理分布,电源、网络等的高可用性容灾与备份:数据备份策略数据备份的层次物理视图逻辑视图(DB、数据库模式、应用)数据备份的方式联机复制同步、异步、状态脱机备份防止“误操作型”灾难数据备份的目标一致性、当前性、可恢复性,尽量减少数据丢失及尽快恢复容灾与备份:数据复制层次主机主机主机主机硬盘硬盘硬盘硬盘DBDB文件文件文件文件表表表表应用应用应用应用 内存内存内存内存备份机备份机备份机备份机硬盘硬盘硬盘硬盘DBDB文
20、件文件文件文件表表表表应用应用应用应用 内存内存内存内存输入输入输入输入输入输入输入输入 物理视图物理视图物理视图物理视图 DBDB视图视图视图视图 数据库模式视图数据库模式视图数据库模式视图数据库模式视图 应用视图应用视图应用视图应用视图复制或转移复制或转移复制或转移复制或转移Part3 解决方案解决方案技术体系结构技术体系结构主要厂商产品介绍主要厂商产品介绍产品供应商IBM Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos产品
21、供应商Data warehousesOLAPData miningReporting,Querying and business intelligenceETLOracleSybaseSASDB2NCRBI/SASDB2 Olap ServerOracle ExpressBusiness Objects/OLAP accessSAS Data miningGeneva(PwC)Intelligent Miner,Visualization(IBM)MineSet(Silicon Graphics)Visual Insights(Lucent)Business ObjectsBrioAdapti
22、ve Server IQ multiplex(Sybase)ActuateHummingbird suiteNUMA-Q2000(IBM)Pilot Balanced Score cardOWBInformaticaCA Data TransformerSAS/WABestWorstRelative to all platforms(including S/390);updated April 2001Copyright 2001Data Mgmt.Data Admin.Scalability&SuitabilityConcurrent Query Mgmt.DW Track RecordQu
23、ery PerformanceHPHP9000HP-UXOracle IBM SPRS/6000AIXDB2 EEESunEnterpriseSolarisOracle GenericIntel IA-32Win2000SQL ServerUnisysES7000Win2000SQL ServerIBMS/390OS/390DB2 EEECompaqAlphaTru64OracleNCRWorldMarkMP-RASTeradata主机厂家主机厂家:主机型号主机型号:操作系统操作系统:数据仓库平台数据仓库平台:数据仓库比较Copyright 2001IBM DB2IBMIBM数据仓库解决方案数
24、据仓库解决方案DB2 Warehouse Manager(管理工具管理工具)DB2 Visual warehousing(ETL)MIS/OABOSS网管网管No.7监测监测DB2 UDBV7.2数据仓库数据仓库DB2 OLAPSERVER(MDB)查询查询人员人员分析分析人员人员Hyperion analyzer 决策决策人员人员IBM Intelligent Miner 数据挖掘数据挖掘DB2 Warehouse ManagerDB2 UDBV7.2数据集市数据集市外部来源外部来源DB2 UDBV7.2数据集市数据集市Enterprise Information PortalIBM数据仓库
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电信 经营 分析 系统 技术交流

限制150内