未来社区公寓智能化平台项目建议书.docx

《未来社区公寓智能化平台项目建议书.docx》由会员分享，可在线阅读，更多相关《未来社区公寓智能化平台项目建议书.docx（113页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、未来公寓智能化设计平台工程方案建议书XX科技股份二零二二年五月未来教育子系统：管理托儿所监控，沙龙活动参与消息、图书馆使用情况等信 息。己为人父母的住户可以通过app,随时查看托儿所监控情况，年轻住户可以通 过app预定图书馆座位或者参加沙龙活动。未来健康子系统：健康驿站和驿站中各种设备的管理，并且系统通过发放第三 方健康app优惠券的方式，鼓励住户时刻关注自己健康情况。社区看护中心为行动 不便者提供及时的关怀，如果住户生病可通过app查看附近的智能药物柜。未来治理子系统：管理社区中志愿者、流动人口、党员等，可通过app发布党 建活动和各类党建信息，流动人口可通过app申请各种政务服务。智能建

2、筑子系统：管理小区的相关智能设备，包括智能门锁，智能窖井盖，智 能消防设施联网等功能。XX未来公寓app巡更打卡：物业管理员巡更点打卡功能。缴费入住：住户可以通过app提交租房合同、交水电等。访客邀约：生成二维码，邀请客人到进入小区。扫码开门：单元楼门禁系统社区公告：各种社区信息包括物品共享、社区新闻、活动消息等。Wifi信息：查看附近公共wifi的位置和账号密码。物联设备：查看附近的垃圾投放点，以及是否满溢的状态；查看快递柜和智能 药物柜位置；查看电瓶车充电器位置。共享办公：住户查看和预约共享办公室，公共设备可以用app控制。幼儿托管：住户可以查看自己幼儿所在托儿所的监控。图书馆预定：住户可

3、以通过app预定图书馆座位或者参加沙龙活动。健康优惠券：领取第三方健康服务平台发放的优惠券。健康驿站：查看健康驿站的位置和当前使用情况。社区关怀：行动不便的住户可以向平台发送请求，平台会指派管理人员代为跑 腿。党建消息：发布与党相关的各种信息。党建活动：发布党建活动信息，党员可以报名参加。政务服务：对接浙江省政府平台，提供跳转功能。911辅材100202,00012客井金管 理模块160. 00060.000XX未来公寓 物业管理系 统及app *1* 包含消控主机联网1消控主机联网模块160. 00060,000XX未来公寓 物业管理系统及app中高层水电联网模块1高层水电联网模块170,0

4、0070,000连接以后的 系统到新的 物业管理系 统中烟雾感知系统1烟客探头24495801.420. 420海蕙园2449 个2烟感管理模块（新）170. 00070,000XX未来公班 物业管理系 统及即p中3烟感联网150,00050,000XX未来公寓 物业管理系 统及app中未来公寓大屏991LED大屏（12 块）1222.000261,0002未来公寓3D建模、 烟雾探头 海公园、众 汽佳苑G1S 侑息系统11,550,0001,550,000梯捽系统1梯控系统273.00081,000海黛园每个电梯一套合计33,517,120未来公函数据中台、业务管理报价清单场 景模 块app

5、子模块功能描述备注价格（单位 万元）基础数据和应用中心组织管理小区管 理辖区所管辖的小区地址、唯一编码、业委会 和物业联系人的联系方式等信息管理。110,000小区业 委会管 理管理辖区内小区业委会的信息小区物 业管理小区物业的联系人、地址、联系方式等信息 管理.100场所信 息汇总汇总出租屋、商铺、共享空间等场所信息历屋概 况社区房屋的自主、山租、空置等情况展示场所信息智慧党 员活动 室建设党建引领的园区治理管理系统，提供党 委会管理、运行、指导、活动提供平台和数 字化服务保障，为园区党委会发挥引领和指 导作用提供系统和技术支持.150,000共享空 间图书馆、活动室、健身房等管理商铺管 理

6、管理辖区内出租屋、承租者、租期、租金、 联系方式。出租房 管理管理出租屋的业主、租客信息，支持租客、 房东扫码录入租客信息。事件信息实时事 件实时事件列表展示，包括事件名称、发生时 间、当前状态等信息。人口信息汇总所方人口信息都汇总在这里，常住人口、流 动人口等都汇总到这里。人口信息常住人 管理常住人口列表，包括年龄、性别、联系 方式、住址等信息.130,000流动人 口管理流动人口列表，包括年龄、性别、联系 方式, 住址等信息0重点人员管理或点人员列表，包括年龄、性别、联系 方式、住址等信息。101关爱人 员管理关爱人员列表，包括年龄、性别、联系 方式、住址等信息.志愿者 管理辖区志愿者的地

7、址、联系方式等信息管理。车辆信息车辆管理管理车辆的车牌、车主、车主联系方式等信 息110,000便民设施管 理物流柜管理190,000药物柜 管理自动修 卖柜管 理智能灯 杆管理路由器 管理应急广 播管理安全设施管 理烟感管 理130,000消防栓 管理地磁管理102电梯管 理智能井盖管理治安设备管理门闸管理110,000车闸管理门禁管 理监控管 理环境监测设 备管理空气监测设备70,000水质监 测设备103数据共享交换平台（信息资源目录管理系统、数据交换平台、综合集成门户、运维综合平台）数据中共享交换实施；台、大数平台产品：数据标准管理、元数据管理、数据平台据建模管理、数据质量管理;数据安

8、全管理；5, 000,000及数据统一运维监控平台；门户框架；治理服平台服务：归集库新建实施（数据调研、接务口开发、数据建库）、中心库新建实施（标准层实施、基础数据层实施）、安全服务、软件安装培训等服务，归集库和中心库数据标准和库表结构与部门业务系统保持一致。基础支撑智慧数据104基于大数据基础平台建设归集库和中心库嬲盼析智能视频监控：嬲分析功能，支持违停， 店面新三包管理，出店经营，占道经营，沿 街晾晒，共享单车无人管理等公寓周边内外 容貌图像人工智能管理1,500,000外部接口通道智能水表对接数据电表数据对接200,000105综合决 策分析系统燃气数据对接与物业管理系统进行数据出对接宿

9、舍，重要场所电子门锁数据平台对接政务系统对接通过大数据展示，结合图形、图表、地图等 方式，以丰富的可视化手段将公寓管理相关 业务数据的集成与展现，对管理的体征进行 实时的播报为公寓管理者提供各种决策辅 助支撑数据。包括：实时运行分析、事件趋 势分析、事件类型分析、难热点问题分析、 考核分析等。大数据公寓体征分析展现应用 提供两种展现形式:一种是以统计图表集中500,000服 务服务与保障展示各个专题的数据源经过数据整合、清 洗、多维度分析后呈现的统计分析信息；另 一种是将业务信息结合GIS技术在电子地 图上进行展现，实现业务信息基于地图的可 视化。整体方案调研，功能需求设计，各模版组建统一交的

10、关系设计，从业务调研、数据、系统、基付及等础设施的详细实施方案规划设计，基于详细1,500,000保评测设计方案的集成部署，实现解决方案的联等调，完成解决方案的功能和非功能性测试与验收，提供整体集成工程管理包含资源协107调,进度计划，风险，质量的管理等；驻场服务，提供多个部门的应用数据接口开发对接作为大数据平台建模及分析的数据储藏.合计9, 830,000108社区爆料：群众可以通过app拍照加图片的方式，上报各种事件，管理人员会 派人到现场办理。租房服务：包括房源介绍，租赁流程，签约收款等我的信息：包括用户的用户名、手机号、积分等信息，积分可兑换社区提供的 奖品. 4 方案优势1 .安全性

11、XX云提供基础的服务能力，确保平台的稳定高效运转。云平台具有防计算机病 毒的能力，有较强的抗干扰能力，具有密码、日记记录操作动作等，防止出现遭到 恶意攻击和数据被非法提取使用的现象，保障系统网络安全。2 .经济性充分利用成熟先进的技术，以云计算和分布式技术为整体架构基础，保证整体 系统的高性价比；软件设计基于钉钉和支付宝，符合管理需要，界面友好、易维护， 整个系统易用、实用、易推广。3 .可靠性系统最大限度集成国内先进的技术及组件，采用成熟技术以降低系统的不稳定 因素；对系统中的硬件、操作系统、网络、数据库局部设计尽可能详尽的故障处理 方案，以保证系统的快速恢复性；系统采用容错技术提高系统的可

12、靠性。4 .先进性在系统可靠性的前提下，先进性也至关重要，系统的网络平台、硬件平台、系 统软件平台技术代表了当今计算机技术开展的方向，并经实践证明具有很强的实用 性，符合当今计算机科学的开展潮流。5 .可扩展性在系统软硬件上的设计和选型上，我们充分考虑其可扩展性，系统结构易于扩 充，以适应今后可能出现的更大任务负载。硬件平台具有可升级性，当需要时可以 增加新的计算机设备同原有计算机设备一起工作以提高系统的处理能力，保证原有 资源的充分利用。10.社区基础数据中心建设2.1 建设目标1、整理局部业务数据根据数据中台规范接入；数据指标的生成由数据中台统一 处理和输出；2、统一对数据指标定义的理解；

13、通过系统在线快速追溯数据源头；3、可打造贴合未来社区特性的数据分析：如：停车场景分析，社区安防场景分 析；4、提供标准的数据服务接口，供后续工程使用统一数据资产技术架构打破数据隔离存储、计算的孤岛现状，聚合物联网数据资产，构建物业数据中 心，利用大数据手段，采用混搭技术，实现数据采集、存储、计算、应用的统一管 理与服务。引入元数据管理、数据质量管理、数据资产管理等手段实现数据资产的 可管可控。1. 1. 2完善和规范数据相关标准在业务规范和标准基础上，固化数据标准和规范，数据存储分层、分域，确保 数据资产高可用数据规范和标准包括元数据管理标准（包括业务元数据、基础元数据等不同类 型元数据类型）

14、、数据模型建设标准（包括分域、分层、命名、定义、鉴权等各类 模型标准）。数据开发者遵循数据中台提供的统一标准与规范，可以提升开发效率、确保模 型质量及业务规那么的唯一性。11统一元数据管理，编制数据资产目录通过元数据管理工具，统一采集和管理元数据信息，编制数据资产目录，并支 撑数据应用。所有开发活动均以元数据管理为驱动，实现先定义、后开发。1.3.3 建立数据质量管理体系，提高数据质量水平建设数据质量管理平台，建立数据质量问题发现、修复的管理机制，逐步提升 数据质量。数据质量管理参与至开发过程与数据任务的执行过程，及后续的稽核过 程。结合元数据定义，实现了数据质量管理的事前、事中、事后的全链路

15、数据质量 管控，确保数据及业务的高可用。1.3.4 构建数据应用和服务体系，提高数据应用水平构建开放的微应用和微服务体系，制定服务和应用技术架构和数据服务管理制 度，建设微服务、微应用基础平台能力，实现应用之间相互依赖解耦、实现应用与 数据之间的解耦。3. 2建设原那么本工程的建设需要遵循以下总体建设原那么：技术先进应统筹考虑大数据局等各单位各项技术选型要求，保证在满足信息化技术支撑 需求的前提下，信息技术适度超前，保持先进。管理配套建设过程中，需同步明确新基础架构相关管理配套保障并有效落实，确保建设 成效持续。稳步推进。充分考虑各项影响因素,分阶段逐步推进基础架构优化升级，明确各阶段重点、

16、方式及预期成果，确保过程可控，成果可期。全局思维12以战略思维、全局视野对信息新技术和企业数据价值的各方面、各层次进行统 筹考虑，明确整体思路、建设目标、重点任务内容及配套资源，全面系统、积极稳 妥地推进信息化基础架构优化综合试点工作，要求能够通过接口对接统推提到的业 务系统，数据模型层面统一构建。通过统一的数据服务开放能力，支撑物业业务快 速构建。依托基础，改造提升通过大数据和云计算平台等现有基础资源对接，通过改造提升、交换共享等技 术手段，形成物理相对集中、逻辑统一的云计算基础设施服务平台和数据共享平台。 基础先行，应用促进首先构建数据统一存储、计算和管理基础平台，进行数据资产化管理，分步

17、骤 建设上层大数据应用，促进平台的应用和开展。综合防范，确保安全正确处理好共享与可控、开展与安全的关系。在建设数据中台工程基础平台时， 要同步构建完整的安全防控体系，确保大数据和云计算服务环境中的数据安全、隐 私保护、运营秩序，增强抵御风险和自主可控能力。3.3社区数据中台建设方案3. 3.1数据中台总体架构未来社区社区数据中台总体架构如以下列图所示：13数场合理小组数据专家，口研发人员面向用户面向用户管理i蜷物业指标在比核造阳标日常指标监控 了解就创数据数把应用分析提供数据应用案例数字门户数据 管理管理数据应用数据数据 应用管理指标词典指标异常监控杳看数据报去线上指标核对指标异常监控社区业务

18、用户形成业务数据模型形成业务畴, 了制5开发&调用API分曳研发案例与技巧数据 加工数据引入业务数据关系处理加歌一 采集和引 入内部数据物业车行人行设备住宅 文旅 生态投资 营销 预算 运营 沼果 社区 商业 效育i医疗*其他行业数据（后续加入）健身蚊育SR3?如上图，数据中台核心内容包括:a.数据加工研发系统：智能数据研发系统，提供可视化数据模型构建、指标规范构建、数据处理逻辑 及任务开发、调度、监控、数据交换等开发环境与执行环境，满足不同类型的数据 开发需求。b.数据门户：包括数据资产概览、数据地图（元数据管理）、数据治理、资产应用、资产运 营等功能，可以实现元数据驱动的数据开发与数据任务

19、过程管控及事后稽核，确保 数据资产的唯一性与标准化。c.数据中台模型：基于以上工具平台建成企业基础数据中心、全域数据中心、数据服务中心，对 所有的数据进行垂直化处理，全域处理，以及数据连接萃取，搭建数据公共层，从 基础层到应用层，从数据采集，数据清洗结构化，对数据进行建模、研发（中间层、 应用层），数据连接（主题），萃取标签和画像。d.数据服务：数据服务通过数据模型的API化封装，实现了数据和上层应用的灵活解耦，外 部或上层应用可以对数据的存放位置、数据的存放格式等无感知，形成对业务系统 的支撑和服务能力以及外部的数据交换能力，提升数据服务的可计量能力及使用效 率。f.数据展示应用:14数据中

20、台提供自助分析能力及可视化报表开发能力，应用开发者基于此及各类 数据资源，开发各类数据展示应用。结合上述功能描述，数据中台将提供包括底层计算引擎、数据中台、数据服务 等相关产品能力，平台产品架构图如下：g.存储计算引擎：以hadoop平台构成数据中台的存储和计算引擎层，hadoop用于存储非结构化 数据，高性能缓存服务中心支撑存储结构化数据，并提供数据建模、数据挖掘计算 能力。h.数据中台：数据中台由一系列工具产品构成，主要包含数据模型设计、数据资产管理、数 据开发、计算任务调度、数据运维管理、数据质量管理等模块。1 .数据服务：数据服务层直接给应用系统或平台用户提供数据查询服务，Hbase提

21、供快速键 值查询、Mysql提供关系数据查询、OSS提供图像视频访问服务、ADS提供多维分析 查询服务。3. 3.2数据中台功能描述数据资源梳理15对未来社区的主要数据资源进行梳理，确定数据资产管理范围，编制数据资源 资产目录，划分数据资产管理的优先级，有*重点、有节奏地进行数据资产管理。需要对数据来源、数据抽取加载周期（批量离线或者实时在线）、接口标准、 数据分域原那么等进行梳理和盘点，并制定相关规范与标准。数据处理数据处理包括数据采集、清洗、加载等过程，加工后的数据可以存储在分布式 文件系统、关系型数据仓库等媒介中。在数据资源梳理的基础上，确定数据接入到信息部全业务数据中心大数据平台 的范

22、围和时间节奏，确定数据接入的技术方案，包括数据存储方案、数据迁移方案、 数据同步方案，以及数据接入任务的开发、调度和管理数据接入包括批量数据接入以及实时数据接入，通过批量数据处理和实时处理 方式。按照大数据“存通用”的方法论，在数据接入到大数据平台后，首先对原始数 据进行存储，然后对异常数据进行适当的转换和清洗，主要包括对缺失值的填补、 对异常值的扫描识别和转换。1）批量离线数据处理整个离线数据处理过程，需要对数据进行数据传输、数据转换等相关操作，从 不同的数据存储引入数据，对数据进行转化处理,最后将数据提取到其他数据系统， 从而完成整个数据的采集、转换、加载过程。离线处理平台功能与特点如下：

23、a.全面托管的调度提供强大的调度能力，支持按照时间、依赖关系的任务触发机制，支持每日千 万级别的任务按照DAG关系准确、准时运行。支持分钟、小时、天、周、月多种调 度周期配置。完全托管的服务，无需关心调度服务器资源问题。租户之间提供隔离，保证不 同租户之间的任务不会相互影响。b.支持多种任务类型支持数据同步、SHELLs ODPSSQL、ODPS MR、机器学习 等多种任务类型，通过 任务之间的相互依赖完成复杂的数据分析处理。16C.可视化开发提供可视化的代码开发、工作流设计器页面。无需搭配任何开发工具，简单的 拖拽和开发就可以完成复杂的数据分析任务。只要有浏览器有网络，就可以随时随 地进行开

24、发工作。d.监控告警运维中心提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行 时的全局情况，可方便的配置短信报警，任务发生错误及时通知相关同学。保证业 务开展。数据开发流程介绍：通常情况下，数据开发需经如下开发流程来完成，数据收集与存储数据分析与处理离线数据开发数据展现与提供从上图可以看出，数据开发的总体流程包括数据产生、数据收集与存储、数据 分析与处理、数据提取和数据展现与提供，其中虚线框内的开发流程都可基于阿里 云大数据平台来完成。简要说明如下：a.数据产生17社区业务系统和物联网设备每天会产生大量结构化的数据，这些数据都存储在 业务系统所对应的数据库中，包括MySQL、Or

25、acle, RDS等类型。b.数据收集与存储通过数据集成服务，可支持多种数据源类型将业务系统数据按照预设的调度周 期同步到指定存储媒介。c.数据分析与处理随之可对指定存储媒介上的数据进行加工、分析与挖掘（数据分析、数据挖掘） 等处理，从而发现其价值。d.数据提取分析与处理后的结果数据，需同步导出至业务系统，以供业务人员使用其分析 的价值。f.数据展现和提供最后可通过报表、地理信息系统等多种展现方式来展示与提供大数据分析、处 理成果。2）实时在线流处理流计算处理过程支持多个数据源的流入，并且提供数据开发，数据存储，数据 运维功能，旨在更少的时间内处理更多的数据，其流数据是按照时间发生顺序被流 计

26、算订阅和消费，且数据流可以持续的集成进入到流计算平台中，具备强大的实时 处理能力。简要说明如下：a.性能方面上计算可到达秒级别延迟，完全弹性伸缩扩展。b.支持SQL进行实时数据清洗、统计汇总、数据分析，支持通用的聚合函数， 支持流数据和静态数据关联查询，支持自定义UDF函数，可以任意拓展业务逻辑。c.稳定性方面将保证数据计算不重不丢，数据质量严格保证，杜绝不同用户之 间干扰。d.强大的流计算引擎，支持各类Fail场景的自动恢复，保证故障情况下数据处 理的准确性；支持多种内建的字符串处理、时间、统计等类型函数。f.深度整合各类云数据存储,包括DataHub、日志服务（SLS）、RDS、OTS、A

27、DS、 TOTHub等各类数据存储系统，无需额外的数据集成工作。18目录1. 工程背景31.1 建设背景.31.2 建设依据.4未来公寓总体方案设计51 .1建设目标.52 . 2未来公寓服务平台总体架构.63 .3功能简介.84 . 4方案优势.10社区基础数据中心建设113. 1建设目标.11统一数据资产技术架构113.1.1 完善和规范数据相关标准11统一元数据管理，编制数据资产目录123.1.2 建立数据质量管理体系，提高数据质量水平12构建数据应用和服务体系，提高数据应用水平124. 2建设原那么.125. 3社区数据中台建设方案.133. 3. 1数据中台总体架构133. 3. 2

28、数据中台功能描述153. 3. 3数据中台数据来源334.未来公寓智慧应用场景设计354. 1智慧服务场景.354. 1. 1治安服务354. 1.2租房服务46智慧厕所484.2智慧邻里场景.504. 2. 1社区公告发布51社区活动管理524. 2. 3邻里共享534. 2. 4积分激励机制534. 2. 5社区爆料54g.提供完全租户隔离的托管运行服务，从最上层工作空间到最底层执行机器， 提供最有效的隔离和全面防护。3）数据任务调度数据开发调度是日常运维的主要工具，可对已提交的工作流及其节点任务进行 管理与维护，同时也可针对节点来添加监控报警。主要分为运维概览、任务管理、任务运维和监控报

29、警四个模块。主要针对平台的全局任务进行查看与管理，包括任务完成情况、任务运行情况、 任务执行时长排行、调度任务数量趋势、近一月出错排行以及当前工程空间中任务 类型分布。运维概览概览页面共包含了以下几个模块：任务完成情况、任务运行情况、任务执行时 长排行、近一月出错排行、调度任务数量趋势、任务类型分布。a.任务完成情况b.任务运行情况192017-04-05天 Q制*A- 0 2e2声开h?闻：也-a同之s行时长 就本 t ，:ZJ 100” WU*_i_H MT2017-04-002017-04-06 L爵日： 201736： 2017-04 06 000000： 2017-0406 00 1

30、9 0400191。001030开口得，蚪修：2017X0500 1904 MMM ： 201705 23 3002 贯*8 ：就认贯#明 ffiKIM : WWMMP.1 B： 葭KE工gJ r-j，-2017ao62017M-066分2(砂EQ n ： 2017-005 7HHW : 2017-04-06 0000W HCSpWMWM ： 20174M)6 0013 038”*0019.30： 20l?4- 00 1930 MH ： 20173623 )009c.任务出错列表任务出0历史 Hi 丹诙马bmea-安目名第修改星国日w丹诙马bmea-安目名第修改星国日w业将日期刑炳日irma脚

31、因2017-04052017-04)6 00:19:102017-04)6001930任伪 致2017-04-042017-04-05 0019 322017-044)50019 M3 运行共2017-0403201704ao015 %2017-04 04 0016172017-04022017-04-03 00:17:322017-04)3001752任毋承九政任务管理任务管理包括：任务管理视图、任务管理列表两个局部。可通过任务可视化视 图及任务列表视图两种方式来进行管理。可视化视图可对任务的上下游依赖关系等 进行维护与管理;列表视图那么以图表形式列出任务的运行状态，可以进行批量操作。a.任

32、务管理视图用户有权限查看的任务列表(任务名称、修改日期)以及筛选条件，右侧主体 栏展现任务间依赖关系的DAG图，双击工作流可以进入该工作流的节点DAG图。20任务管悭O节点O节点我的任务 我的任务（今天修改的）我的任务 我的任务（今天修改的）盍任人：全部任务名称修改日期workshopworkshop2017-03-26 19:33:48dw user info all d 2017-03-26 19:33.48-ods_log_info_d 2017-03-2619:33:48rpt_user_infb_d 2017-03-26 19 33 48-ftp2odps 2017-03-2618:

33、49:03rds2odps 2017-03-26 18 49 03workshop_start 2017-03-26 18:49:02workshop2017-03-26 17:07:55project_eti_start2017-03-15 12:03:27b.测试任务：可指定业务日志来测试当前任务运行情b.测试任务：可指定业务日志来测试当前任务运行情测试运行实磴称：数据_2017_03_31业务日期：2017-03-30如果业务日选撵昨天之前,那么立即执行任务.,如果业务日期连玲昨天，那么需要等到任务定时时间才短风行任务.取消c.节点DAG界面21任务管理故O节点故O节点我的任务任务名称修

34、改日期2017-03-26 17:07:552017-03-2619 33 482017-03-15 12:03:27ifiialTftSgd.任务管理列表，他是指对当前工程空间内的任务以列表形式进行的管理&6，-tAEHaHOfflSHEll OPEN.MR OOFS_$Ol amMr发国成功a南金2015-10-2301:3538MUan iMtF件lAfVVtMt发送原不a南童201S-10-23012736yvrryuarwfimrt卷件k/nnyi 由发送值功2015- 10-23 01： 13 36vnuiwfiMHkmngiut及理戌动口击金可通过工作流名称、节点名称、责任人、时

35、间段来进行搜索26运维中心出错提醒提醒推送时间：2015-10-22 23:08:30报告来自于以下提报国名称提第类更援醇对象援好规那么创立人业务线出错测试1任务yunyuanwf 1 ,mr!出tfifomingtest出错的任务任务名界出错时间yunyuanwfl ,rtr12015-10-22 22:07:44来自运堆中心数据建模结合数据资源情况以及大数据应用规划，建设数据中间层模型，建设目标为对 数据对数据资源的主题化整理和数据指标标准化管理，目的是让数据应用变得便捷。主要内容为数据主题划分、数据指标命名标准化、数据指标归一化。1）数据模型架构设计数据模型是抽象描述现实世界的一种工具和

36、方法，是通过抽象的实体及实体之 间联系的形式，来表示现实世界中事务的相互关系的一种映射。在这里，数据模型 表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述, 来表达实际的业务中具体的业务关系。数据模型设计是按照一定的数据模型，对整个XX业务的数据进行采集，整理, 并且能够按照各个业务部门的需要，提供跨部门的，完全一致的业务报表数据，能 够通过数据仓库生成对对业务具有指导性的数据，同时，为领导决策提供全面的数 据支持。数据模型架构：ODS （操作数据）层；CDM （公共维度模型）层；ADS （应用数据）层。27ODS层：即操作数据操作（Operational Data S

37、tore）层，它是从业务系统过 渡到数据仓库核心层的操作数据的模型，ODS模型的数据结构与业务系统基本保持 一致，同时不做存储。CDM层又细分为DWD层和DWS层，分别是明细宽表层和公共汇总数据层，采取 维度模型方法基础，更多采用些维度退化手法，减少事实表和维度表的关联，容 易维度到事实表强化明细事实表的易用性；同时在汇总数据层，加强指标的维度退 化，采取更多宽表化的手段构建公共指标数据层，提升公共指标的复用性，减少重 复的加工。DWD层：Data Warehouse Detail Model是CDM层中的明细宽表层,用于存放完 整详细历史数据。他面向业务过程建模，紧紧围绕着业务过程来设计，通过获取描 述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。 其设计目标是为后续的Data Warehouse Model提供灵活性和扩展性的基础，同时可 以在DW层无法支持需求时直接为应用层提供数据。DWD层由于与业务系统耦合程度 较高，其稳定性会受到业务系统的影响。DWS层：存放详细历史数据的公共汇总数据层，面向分析主题建模。DW层是核 心层，设计目标是为应用层提供足够的灵活性和扩展性的基础。同时，由于CDM层 包含了整个数据中台的大局部数据，是数