睿思BI商业智能项目解决方案技术白皮书.doc

.1/30睿思 BI 商业智能解决方案技术白皮书睿思科技所有.ruisitech.2/30目录目录总览 3系统作用 3系统架构 4数据仓库架构 4系统功能架构 5系统功能详细介绍 6企业数据门户 6主题分析 7收入总览 8收入预测 9客流量监控 9商品分析 10商品销售趋势 10分店分析 11会员卡分析 11会员卡用户分类 11即席查询工具 12多维分析工具 14表格组件 14柱状图分析 16曲线图分析 18仪表盘分析 19散点图分析 19气泡图分析 20ETL 工具 20睿思报表工具 22创建新报表 23创建数据源 23构建数据集 25构建表格 26报表预览 28报表格式化 29报表保存 30.3/30总览总览企业在经营过程中每天都会产生大量的业务数据，比如销售、采购、库存、客户、营销等数据，随着规模的不断扩大，数据越来越多，管理成本也越来越大，如何充分利用业务数据，让管理者看到数据背后的危机与机遇，提高决策准确性，降低管理成本是现阶段急需解决的问题。另一方面，管理者对企业经营分析的要求越来越高，以前简单的报表系统已经不能满足需要，管理者需要功能更加强大的在线分析系统来帮助分析，以支持决策。睿思 BI-商业智能解决方案与产品以数据仓库技术为依托，采用 ETL 抽取企业在经营过程中产生的业务数据并集中于总部数据中心，利用数据门户、多维分析、数据挖掘等技术构建商业智能平台，为管理者提供与时、准确、科学的决策依据，降低管理成本，助力客户构建智慧型企业。系统作用系统作用1.整合业务数据在各业务系统中，数据不流通，形成信息孤岛，商业智能解决方案建立统一数据仓库，整合业务数据，给管理者提供统一视图，统一决策界面。2.支撑决策从数据中分析企业发展趋势，挖掘新的商业机会，根据数据决策，提高决策的与时性与准确率。3.降低运营成本，提高利润基于系统分析容，管理者能了解产品结构、分销渠道、工作流程和服务方式，通过优化企业资源与流程，从而降低运营成本，提高利润，增强企业在市场上的竞争能力。.4/30系统架构系统架构（系统架构图）在企业信息化部建立数据仓库，数据仓库按主题域存储企业业务数据。数据来源主要是企业其他生产系统，比如 POS 收银系统、CRM 客户管理系统、ERP 企业管理系统等。通过 ETL 工具定期抽取、清洗数据，并加载入数据仓库中。架构于数据仓库上的系统功能主要包括企业数据门户、专题主题分析、即系查询、多维分析、自助报表的功能模块，通过这些功能模块为管理者获取数据和分析数据提供简单易用、功能强大的方法，为管理者决策与精细化营销做业务支撑。数据仓库架构数据仓库架构总部数据仓库对数据存储进行了分层。分层架构分为：SRC 层、ODS 层、数据集市层（DM），形成了睿思科技 BI 系统分层数据架构。1.1.SRCSRC 层层SRC 层存放原始数据，ETL 从其他业务系统抽取的数据在经过清洗和预处理后首先放入 SRC 层。2.2.ODSODS 层层ODS 层是一个面向数据主题的、集成的、可变的、当前的细节数据集合层，.5/30用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的数据处理的过渡，以降低直接进行数据处理的复杂度。3.3.数据集市（数据集市（DMDM）数据集市作为商业智能系统的组成部分，从企业数据仓库中 ODS 层、抽取相关数据并进行转换和装载，并根据应用需求形成的数据集合，支撑各个业务部门进行建设专业化应用。系统功能架构系统功能架构(主要功能模块)多维分析多维分析：帮助用户进行多角度、立体化、灵活动态的分析业务数据。产品简单易用，无需编写任何的代码，用户只需要通过语义层的定义就可以轻松搭建自己的多维数据模型。即席查询即席查询：企业数据仓库的各主题数据、统计报表、指标的快速检索，帮助业务分析人员快速获得所需要的数据和统计信息。数据门户数据门户：对数据仓库整合的业务数据进行统一展现，展现方式包括仪表盘、表格、日历等容，并支持用户个性化定制容、指标等功能，实现真正的个性化服务。数据门户中展现的容是管理者与业务人员最关注的指标，通过门户为他们获.6/30取数据提供最简单容易的方式。主题分析主题分析：从主题域的角度入手，支撑数据资源的组织，支持数据的深入挖掘和分析应用，跟踪、监控营销政策的执行情况与实施效果，揭示企业营销活动存在的问题与原因，让管理者了解商品结构、客户构成、工作流量与服务方式，通过数据发现经营问题与不足、为优化企业管理流程、降低运营成本提供依据。睿思报表：睿思报表：报表工具作为企业商业智能系统建设的重要组成部分，主要对企业数据仓库中整合的各主题域业务数据，按照业务运营管理要求，面向企业各级部门，快速提供准确、全面、灵活的体现公司业务运营实际的数据信息，为决策支持、业务管理提供有效的数据信息支撑。ETLETL 工具：工具：ETL 是数据仓库最核心的后台组件，通过对业务的数据的抽取、清洗、加载与汇总，实现数据仓库中数据的更新与流转。本方案的 ETL 工具，实现了图形化与自动化的方式来配置 ETL 流程，极大的减轻了数据加工的工作量，提高了数据准确性与处理效率。系统功能详细介绍系统功能详细介绍企业数据门户企业数据门户企业实施商业智能、数据仓库的目的之一为整合各系统的业务数据，统一指标口径，实现统一视图、统一决策界面。企业数据门户功能主要对整合的业务数据进行统一展现，展现方式包括仪表盘、表格、日历等容。数据门户中展现的容是管理者与业务人员最关注的指标，通过门户为他们获取数据提供最简单容易的方式。数据门户中展现的容根据用户角色不同而有所差异，每个用户都可以定制自己关注的容，实现真正的个性化服务。系统截图：.7/30（仪表盘与关键指标页面）（曲线图与日历分析页面）（柱状图与地域地图页面）主题分析主题分析数据仓库中的业务数据通常是面向主题进行组织的。主题分析是在较高层次上将企业信息系统的数据进行归并、抽象，形成对分析对象的一个完整的描述，体现分析数据之间的相互关系，揭示数据规律和问题。主题分析模块从主题域的角度入手，支撑数据资源的组织，支持数据的深入.8/30挖掘和分析应用，跟踪、监控营销政策的执行情况与实施效果，揭示企业营销活动存在的问题与原因，让管理者了解商品结构、客户构成、工作流量与服务方式，通过数据发现经营问题与不足、为优化企业管理流程、降低运营成本提供依据。考虑到企业管理的特点和现状，业务主题分析涵盖了收入、客户、商品、渠道、供应商、库存、竞争、服务质量等八个主题域相关的主题分析功能。收入总览收入总览分析企业的收入情况，从日期、月份、分店、商品等维度上洞察企业的收入情况，并支持收入再月份上进行对标。按日分析本月收入、上月收入、去年同期收入等指标：分析每日，每个分店的收入构成情况：.9/30收入预测收入预测根据以往收入情况与趋势，预测未来几天的商品销售情况。客流量监控客流量监控按日、月等维度监控客流量，人均消费情况。按日、月、地域等维度分析客流量、客流量同比、环比、人均消费、每座消费、上座率、开台率、翻台率等指标。.10/30商品分析商品分析从月份、分店、商品等维度上分析销售数量、销售金额、成本、毛利、毛利率等指标，并等指定按不同的指标进行排序，方便企业淘汰差的商品，引进好的商品。商品销售趋势商品销售趋势从时间维度上分析每个商品的销售趋势，点击商品名称钻取到图形展现页面。.11/30分店分析分店分析分析和分店相关的监控指标，帮助管理者了解每个分店的经营情况，主要分析指标包括营业收入、客流量、人均收入、坐位数、每坐销售金额、餐桌利用率、职工人数、每个职工销售额、上座率、开台率等指标。会员卡分析会员卡分析分析企业会员的发展情况与健康度，主要分析指标包括总会员数、发展会员数、环比变化、活跃会员数、活跃会员数占比、会员消费金额、总消费金额、会员消费金额占比等指标。点击月份维度能钻取到每个分店。会员卡用户分类会员卡用户分类对会员卡用户按照消费金额和消费次数两指标进行分类，把用户分为 9 类，.12/30每类用户具有不同的特征，市场营销部门可以对不同分类的用户进行针对性营销。即席查询工具即席查询工具即席查询工具针对企业数据仓库的各主题数据、统计报表、指标的快速检索，帮助业务分析人员快速获得所需要的数据和统计信息。即席查询工具通过提供各种向导式界面、图形查询生成器、联机帮助等功能，为系统使用人员提供细粒度数据。即席查询工具是分析人员的重要的辅助工具，它是在数据仓库的信息组织基础上，尽可能多的在后台按照分析人员关心的分析角度沉淀业务知识，在前端功能页面上屏蔽后台查询技术细节，为分析人员提供灵活的业务分析查询角度定制和结果定制功能，使分析人员在分析汇总数据的同时能够通过即席查询进一步深入到自己感兴趣的细节数据中，以便更全面地反映情况，做出正确决策。系统截图：.13/30（指标选择）（配置维度）（生成结果）.14/30多维分析工具多维分析工具多维分析是商业智能的核心技术，可以帮助用户进行多角度、立体化、灵活动态的分析。多维分析报表由“维”（影响因素）和“指标”（衡量因素）组成，能够真正为用户所理解、并真实的反映企业特性信息。睿思 BI-多维分析工具简单易用，无需编写任何的代码，用户只需要通过语义层的定义就可以轻松搭建自己的多维数据模型。同时具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，以图形或者表格的形式来表示的对信息的总结。多维分析工具专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。表格组件表格组件1.拖拽维度年度到行标签、拖拽实际收入指标到指标区域，查询每年的收入情况。.15/302.点击 2012 年前的加号、在弹出的菜单中选择月份，从年钻取到月洞察收入情况。3.拖放收入同比指标到表格指标区域，计算收入在 2012 年每月的收入同比情况。.16/304.点击收入同比右边的按钮，选择筛选菜单；在弹出的对话框中输入图中容，查询 2012 年 2 月收入同比大于 65%的商品。柱状图分析柱状图分析1.点击插入菜单，选择插入图形子菜单，在弹出的插入图形对话框中选择柱状图，即可在多维分析界面中插入柱状图。.17/302.拖拽维度分店到横轴，拖拽指标实际收入到纵轴，查看分店的收入对比图形。3.拖年度维度到图例，查看每年各分店的收入对比图形。.18/30曲线图分析曲线图分析1.拖拽月份到横轴，拖拽实际收入到纵轴，通过曲线图洞察收入趋势。2.在曲线图节点上点击，弹出下钻菜单，选择二级菜单，从月份钻取到二级菜单上洞察收入趋势。.19/30仪表盘分析仪表盘分析拖拽年度到观察维度，拖拽实际收入到指标，通过仪表盘洞察每年的收入情况。仪表盘最多显示 4 个，当数据多于 4 条的时候，显示前 4 个仪表盘。散点图分析散点图分析拖拽指标实际收入到横轴、点菜量到纵轴，拖拽维度二级菜单到观察维度，通过散点图洞察商品的销售收入和销售金额的关系。.20/30气泡图分析气泡图分析拖拽指标实际收入到横轴、点菜量到纵轴、每菜消费金额到气泡大小，拖拽维度二级菜单到观察维度，通过气泡图洞察商品的销售收入与销售金额与每个商品销售金额的关系。ETLETL 工具工具ETL 负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取.21/30到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL 是数据仓库中的非常重要的一环，它是承前启后的必要的一步。睿思 BI-ETL 工具以开源工具 Kettle 为基础进行二次开发，纯 java 编写，可以在 Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。功能强大、灵活，使用简单。（平台架构）数据抽取就是从数据源抽取出所需的数据的过程。数据抽取后，再经过数据清洗、转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。数据转换主要用于解决数据不一致性问题，数据加载就是将从数据源系统中抽取、转换后的数据加载到数据仓库系统中。ETL 流程管理调度是 ETL 过程中的统一调度者和指挥者，它把复杂的数据处理过程中各个步骤整合成一个整体。异常数据处理机制指源数据系统中的数据本身出错并发生变更后，对于正在抽取、已经抽取、已经处理、已经汇总等各个环节，如何进行回退处理的一套机制。系统截图：(ETL 界面切图).22/30产品特色：（1）支持 MYSQL/ORACLE/MSSQLSERVER/DB2 等多种数据库；（2）支持 Windows/Linux/Solaris/AIX 等多种操作系统；（3）支持 txt/csv/xls/zip 等多种输入输出格式；（4）图形化 ETL 操作配置，ETL 数据加工过程一目了然；（5）工具性能强大，处理速度大概可以达到 8000 行每秒；（6）具有完整的日志管理功能、完善的数据审计功能，并且有相关的监控预警机制，保证 ETL 过程正常进行，不影响数据源系统的正常工作；（7）支持并行加载等高效的优化策略；睿思报表工具睿思报表工具报表工具作为企业商业智能系统建设的重要组成部分，主要对企业数据仓库中整合的各主题域业务数据，按照业务运营管理要求，面向企业总部、省分、地市各级部门，快速提供准确、全面、灵活的体现公司业务运营实际的数据信息，为决策支持、业务管理提供有效的数据信息支撑。睿思报表工具使用 B/S 架构、纯 java 编写，服务端程序可以在 Window、Linux、Unix 等多个系统上运行，客户端无需安装，用户只需使用 IE、firefox等浏览器就能设计、浏览、打印报表。功能强大、灵活，使用简单。睿思报表主要由两部分组成：一是报表设计，主要用来构建报表；二是可以加到你应用服务的运行期组件。睿思报表同时也提供一个图形报表制作引擎。拥有和 Dream weaver 一般的操作界面，可以像画 table 一样画报表，也可以生成图片，导出 Excel Html。睿思报表设计器包含标签、文本、图片、分析图、表格、交叉表等多种展现组件，对于不同的业务需求按不同的形式展现数据，提高了数据可视化程度，能帮助管理人员快速做出决策。报表运行时组件具有导出、打印、鉴权等功能，提升了系统的可用性和数据的安全性。系统功能特色：1.支持自定义报表，支持用户个性化报表制定、保存与相关管理功能，选择界面灵活、友好，支持临时性选择信息保存，支持报表格式的个性调整，包括：.23/30指标维度的灵活调整和表格转置；2.支持固定报表，依据指标字典模块中基础指标、分析指标与综合指标的架构、口径，实现报表模板上传，报表展现时按模板展现数据；3.支持交叉报表，即报表维度可以横向和纵向同时多维度展现数据；4.支持树形报表；5.支持报表，即多报表生成在一个Excel中，首页有其它sheet页的提示，主要支持专题分析的系列报表；6.支持分析型报表，采用OLAP分析引擎，支持报表数据上钻、下钻、切片、旋转等功能；7.支持多种数据输出方式，如文件输出（Excel、HTML、PPT、PDF等）、Email输出、Web发布、打印输出等；支持按照管理主体、对标对象选择围、报表分类、报表的时间围等要求进行报表的批量导出和保存；8.展现方式支持多种图表类型，包括列表、交叉表，以与柱状图、折线图、饼图、雷达图等多种图表类型；创建新报表创建新报表您创建的报表都放在睿思报表工具对象面板的报表选项卡中，我们这里从空白报表设计开始：点击菜单栏新建按钮，我们就能创建一空白报表。创建数据源创建数据源在操作面板中开始设计报表之前，构建报表数据源以将报表连接至数据库或其他类型的数据源。构建数据源时，要指定驱动程序类、数据源名称和其他连接信息，后边将有详细介绍。这里我们使用的是已经配置为与报表设计器配合使用的样本数据库 Classic Models。不需要对此样本数据库指定连接信息。1.选择菜单栏的数据按钮，点击创建数据源，如下图所示：.24/302.在弹出的创建数据源对话框中录入数据源的相关信息，主要包括数据源名称、数据源类型、连接字符串、连接用户名、连接密码等容。3.信息填写完毕后，点击测试连接按钮，测试当前配置的数据源连接信息是否正确。如果测试通过，点击确定按钮，数据源就创建好了，在对象面板的数据选项卡中，我们能看到刚才已经创建好的数据源对象。.25/30构建数据集构建数据集现在，您就可以开始构建数据集了。数据集标识要从数据源检索的数据。如果报表连接至 JDBC 数据源，则使用 SQL SELECT 语句来标识要检索的数据。1.选择菜单栏的数据按钮，点击创建数据集。2.页面弹出创建数据集对话框，对话框主要包含数据集名称、数据集所属数据源、查询字符串等容，按照实际需求录入数据，如下图所示：3.点击对话框确定按钮，在对象面板的数据选项卡中，能看到我们刚才创建的数据集，如下图所示：.26/304.在对应的数据集上点击右键会弹出右键菜单，右键菜单主要包括新增、修改和删除当前数据集的操作，点击编辑菜单，您能对刚才新建的数据集进行进一步编辑。5.编辑数据集面板包含基本信息、字段信息、数据集筛选、数据预览等多个选项卡，关于选项卡的容，我们会在后面的容中介绍。构建表格构建表格1.新建表格，从对象面板的组件选项卡拖拽表格到操作面板中即可构建一个表格组件。.27/302.编辑表格，在表格组件上单击右键、表格的右键菜单包含了对表格组件进行操作的所有功能，我们通过插入列来扩展表格的列数到 5 列。（插入列前）（插入列后）3.映射数据，从对象面板的数据选项卡中拖拽刚才您刚才创建的数据集字段到表格的单元格中。.28/304.编辑表头，在表格的表头单元格里点击右键，选择编辑按钮，填入表头数据。（开始表头编辑界面）（完成表头编辑后界面）至此，一个简单的报表已经编辑完成，后面还包括报表预览、报表保存等容。报表预览报表预览点击菜单栏运行菜单的预览子菜单，您能够预览刚才设计的报表，效果如下图：.29/30报表格式化报表格式化报表格式化能够对报表中显示的数字，日期等容进行格式化输出，让您的报表更加美观易用，点击表格组件需要格式化输出的单元格，在属性面板中出现关于当前单元格的属性信息，如下图所示：.30/30在位置属性上选择 right，在数字格式属性里输入#,#，点击应用按钮完成属性配置。同时，您还能在属性面板里设置关于表格分页、是否导出等其他容。报表保存报表保存点击报表菜单栏的保存按钮、即可把我们刚才设计的报表保存到对象面板的报表选项卡中，我所有设计的报表都会保存到此目录中，我们可以在这里对报表进行编辑、重命名、删除等操作，通过右键菜单进行。（报表保存对话框）（报表右键菜单）