商务数据分析与应用中心建设方案汇报.pdf
《商务数据分析与应用中心建设方案汇报.pdf》由会员分享,可在线阅读,更多相关《商务数据分析与应用中心建设方案汇报.pdf(46页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、商务数据分析与应用中心商务数据分析与应用中心建设方案汇报建设方案汇报编制:_审核:_批准:_某信息科技发展有限公司20 xx20 xx 年年 xxxx 月月商务数据分析与应用中心建设方案汇报目录第一章第一章 商务数据分析与应用实训平台建设背景商务数据分析与应用实训平台建设背景-3 31.1 国内外大数据学科发展情况-31.2 大数据技术发展趋势-31.3 商务数据分析及应用人才需求调研-5第二章第二章苏州国云数据科技有限公司简介苏州国云数据科技有限公司简介-8 8第三章第三章建设方案建设方案-10-103.1 基础环境建设-103.2 大数据分析应用平台-13第四章第四章 商务数据分析与应用人
2、才培养及课程建设服务商务数据分析与应用人才培养及课程建设服务-23-23第四章第四章 商务数据分析与应用技能培养及课程建设服务商务数据分析与应用技能培养及课程建设服务-23-234.1 商务数据分析技能培养-234.2 课程建设服务-25第五章第五章 项目建设预期效益项目建设预期效益-38-38第六章第六章 项目清单项目清单-40-40第 2 页 共 46 页商务数据分析与应用中心建设方案汇报第一章第一章 商务数据分析与应用实训平台建设背景商务数据分析与应用实训平台建设背景1.11.1 国内外大数据学科发展情况国内外大数据学科发展情况大数据时代来势如此迅猛,如平地一声雷,一夜之间大家都在谈大数
3、据、做大数据、用大数据。行业的迅速崛起自然造成了专业人才的短缺。针对这种情况,目前国外许多著名高校已开设了大数据相关专业,据不完全统计全世界有近 170所大学开设了大数据相关专业,其中约 150 所大学开设了硕士研究生以上的学位课程。美国有超过 60 所大学开设了大数据相关专业,在欧洲有 30 多所大学,其中英国有 13 所。如哥伦比亚大学、加州大学伯克利分校、芝加哥大学等纷纷开设了“数据科学”学位;同时麻省理工学院(MIT)、斯坦福大学以及华盛顿大学等海外顶尖的大学也陆续开设了大数据的教学和研究项目。为了贴合当前最前沿大数据学科的发展方向、满足当代社会需求,我国多所顶尖大学也已开始进行大数据
4、的教学以及培训等。如 20 xx 年 4 月下旬,清华-青岛数据科学研究院正式成立,并推出多学科交叉培养的大数据硕士项目。该项目于同年9月正式培养首批150名从清华校内学生中选拔产生的大数据硕士学位研究生,清华大数据硕士学位项目将依托信息学院、经管学院、公管学院、社科学院、交叉信息研究院、五道口金融学院等 6 个院系协同共建,研究生院负责统筹协调,以数据科学与工程、商务分析、大数据与国家治理、社会数据、互联网金融等硕士项目为先导;北京大学在亿赞普捐赠下,成立了“大数据研究中心”,不久后北京大学又与中国人民大学、中国科学院大学、中央财经大学、首都经济贸易大学几所高校一起,联合培养大数据分析硕士,
5、与此同时,北京大学还开设了大数据方向情报学专业;同济大学开设 基于大数据的商务智能应用开发案例课程。1.21.2 大数据技术发展趋势大数据技术发展趋势大数据技术是一种新一代技术和构架,它以较低的成本、快速的采集、处理和分析技术,从各种超大规模的数据中提取价值。大数据技术不断涌现和发展,让我们处理海量数据更加容易、更加便宜和迅速,成为利用数据的好助手,甚至可以改变许多行业的商业模式,目前我们将大数据技术的发展可以分为六大方向:第 3 页 共 46 页商务数据分析与应用中心建设方案汇报1)在大数据采集与预处理方向。这方向中最常见的问题是数据的多源性和多样性,导致数据的质量存在差异,严重影响数据的可
6、用性。利用 ETL 工具将分布的、异构数据源中的数据如关系数据、平面数据文件等,抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础;或者也可以把实时采集的数据作为流计算系统的输入,进行实时处理分析。2)在大数据存储与管理方向。该方向中最常见的挑战是存储规模大,存储管理复杂,需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些问题。在大数据存储和管理方向,尤其值得我们关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。3)大数据计算模式方向。由于大数据处理多样性的需求,目前出现了多
7、种典型的计算模式,包括大数据查询分析计算(如 Hive)、批处理计算(如 HadoopMapReduce)、流式计算(如 Storm)、图计算(如 Pregel)和内存计算(如 Hana),而这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。4)大数据分析与挖掘方向。在数据量迅速膨胀的同时,还要进行深度的数据分析和挖掘,并且对自动化分析要求越来越高,越来越多的大数据数据分析工具和产品应运而生,如用于大数据挖掘的 R Hadoop 版、基于 MapReduce 开发的数据挖掘算法等等。5)大数据可视化分析方向。通过可视化方式来帮助人们探索和解释复杂的数据,有利于决策者挖掘
8、数据的商业价值,进而有助于大数据的发展。日前很多公司都在开展相应的研究,试图把可视化引入其不同的数据分析和展示的产品中,各种可能相关的商品也将会不断出现。可视化工具 Tabealu 的成功上市反映了大数据可视化的需求。6)大数据安全方向。当我们在用大数据分析和数据挖掘获取商业价值的时候,黑客很可能在向我们攻击,收集有用的信息。因此,大数据的安全一直是企业和学术界非常关注的研究方向。通过文件访问控制来限制呈现对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度的保护数据安全。第 4 页 共 46 页商务数据分析与应用中心建设方案汇报综上可知,大数据的发展涉及大部分传统 IT 信
9、息技术领域,并随着 IT 信息技术的发展逐渐渗透到传统领域,其应用是自顶向下的全方位综合应用,既需要有传统 IT 信息技术的支撑,同时又和其他学科领域交叉融合,在未来可预见的时间能,无论教育需求还是就业需求都有较大的增长空间。1.3 商务数据分析及应用人才需求调研1.3.1 市场需求20 xx 年 10 月 31 日,英国金融时报报道:最新研究显示,零售业、银行和金融业大数据应用技术人才短缺,致使相关领域人员工资高出全国平均水平两倍以上。看到市场对数据人才的追求日益激烈,在美国很多大学开始专门开设数据分析类专业。在未来 6 年,仅在美国本土就可能面临缺乏 14 万至 19 万具备深入分析数据能
10、力人才的情况,同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有 150 万人的缺口。大数据专业就业主要行业包括:零售、保险、电子商务、政府数据中心、医药和银行、研究性大学、金融机构、互联网企业等。数据高速发展的 20 xx 年,利用大数据应用,精准广告投放系统、用户个性化推荐、消费热点预测、客户生命周期管理、企业经营策略分析等,互联网企业尤其是阿里巴巴、京东等电商企业成为20 xx 年大数据发展的最大赢家。20 xx 年天猫“双十一”571 亿元的交易额是一个很好的佐证。利用大数据优势,获取更高的利益,大数据发展势头十分迅猛。近年来,中国互联网三巨头 BAT 均耗费巨资投
11、入大数据发展,纷纷建立大数据研究院、大数据实验室等,提供大数据专业服务,一批大数据专业分析公司也应运而生。据CSDN20 xx 年中国大数据调查报告显示,32.5%的公司正在搭建大数据平台,29.5%的公司已经在生产环境实践大数据,并有成功的应用案例和产品,24.5%的公司已经做了足够的了解,开发准备就绪。各大公司纷纷上马大数据业务,对大数据人才的需要,市场上正处于十分旺盛的阶段。据 Gartner 预测,2015 年,全球将新增 440 万个与大数据相关的工第 5 页 共 46 页商务数据分析与应用中心建设方案汇报作岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等,据 Ga
12、rtner 消息,2015 年将会有 25%的组织设立首席数据官职位。然而人才供给的缺乏正是大数据发展面临的一个瓶颈。目前企业发展大数据已步入初级阶段,在记者近期的采访中,不论是拓展大数据业务的百度、阿里、奇虎 360 等互联网公司,还是专业提供数据服务的大数据服务商,对专业的数据分析人才均有较高的需求量。据 IDC 统计,全球数据总量以每两年翻一番的速度爆发式增长,与此同时自然也催生出了大量与大数据处理相关的职位,这群人在国外被叫做数据科学家(Data Scientist),通过对数据的挖掘分析来影响企业的商业决策。在中国市场,数据分析人才都将享有丰富就业机会与丰厚的待遇。同时,伴随者大数据
13、相关产业的发展,数据分析相关基础建设的需求量也会更大,一些重复性或者理论相对简单的工作也会出现大量缺口,这将为高职数据分析相关专业的学生提供广阔的就业前景。1.3.2 院校人才培养我国大数据专业人才需求,迫使高校必须转型培养专业性的大数据人才。目前,我国众多高等院校已经陆续在本科、研究生阶段设立大数据学科。但由于我国大数据学科起步晚,国内市场对大数据专业的定位还仅仅停滞于策略编写、大数据建模与衍生品定价等方面。高等院校又缺乏对大数据学科人才培养的经验,因此造成高校对学生培养方向定位不明确,课程设置内容不清晰。这种专业方向建设方式导致院校大数据学科课程侧重于传统的理论教学,忽略了培养学生数据挖掘
14、,数据分析,数据可视化等的实践能力,缺乏对大数据分析以及数据安全等大数据技术的学习掌握,尤其缺乏实践成果与市场结合。其结果是人才培养效果远远不能满足我国各行业机构对相应大数据人才的需求。为了提高大数据学科人才的专业性、实践性、复合型,提高毕业生的就业率,为我国机构输送更多高素质应用型人才。第 6 页 共 46 页商务数据分析与应用中心建设方案汇报20182018 年大数据人才需求预测分布图年大数据人才需求预测分布图第 7 页 共 46 页商务数据分析与应用中心建设方案汇报第二章第二章苏州国云数据科技有限公司简介苏州国云数据科技有限公司简介国云数据是中国顶级的大数据技术服务运营商,拥有国家自主可
15、控并国际领先大数据技术和产品,旗下有世界领先的大数据操作系统,致力于让人人都能使用数据,专注于帮助一流企业和政府大数据规划和实践,逐步走向国际化的中国大数据民族品牌。国云数据集团由原阿里巴巴数据部门核心成员于 2011 年创立,拥有北京、上海、湖南、贵州、苏州等多个子公司与研发中心,拥有百余多项大数据技术著作权和专利。旗下中国最大的大数据分析平台:有 11 万企业客户使用;旗下中国最大的大数据科研平台:有 100 多所高校在使用,旗下大数据分析与应用教材由高教出版社,作为大数据教材近百所高校在使用。面向政府的大数据交换共享、分析挖掘、应用服务平台,已在贵州、内蒙、苏州、北京、部委、公安、工业等
16、省和市使用。国云数据技术领先,已和华为、中兴集团等知名公司深度合作,共同推动和完善中国大数据产业和市场。国云数据现有四大板块:国云数据、国云树人、国云研究院、国云基金。第 8 页 共 46 页商务数据分析与应用中心建设方案汇报第 9 页 共 46 页商务数据分析与应用中心建设方案汇报第三章第三章建设方案建设方案商务数据分析与应用平台以校企联合培养模式为手段,通过校企合作联合培养机制,让企业、行业深度参与人才培养过程,逐步实现校企共同制定培养目标、共同建设课程体系和教学内容、共同实施培养过程、共同把控培养质量,全面提升学生的应用实践能力。该平台以应用型人才培养为目标定位,在以解决现实问题为目的的
17、前提下,使培养的学生有更宽广和跨学科的知识视野,注重知识的实用性,有创新精神和综合运用知识的能力。注重培养学生具有在创新中应用、在应用中创新的能力,让学生真正学会大数据行业各个岗位真正的职业技能。3.13.1 基础环境建设基础环境建设实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设,包括学生实验用桌椅、教学用投影音响器材、实验室空调系统、网络综合布线系统、安防监控系统及实验室装修系统等。通过这些基础支撑环境的建设,才能保证实验室正常为教学和科研服务。室内布局:实训室长16M,宽8M.分为教室与企业数据分析室两个部分。教室长14M,宽8M。企业数据分析室长8M,宽2M.教室设主机电脑
18、,投影仪,话筒。学生机围绕教师主机排列。教室两侧墙壁设电子相册各一个,展示实训与企业应用成果。企业数据分析室按办公风格设计,配小沙发,带台式机工位3个。(1)布局图第 10 页 共 46 页商务数据分析与应用中心建设方案汇报(2)效果图第 11 页 共 46 页商务数据分析与应用中心建设方案汇报(3)地面管线图(4)顶面管线图第 12 页 共 46 页商务数据分析与应用中心建设方案汇报3.23.2 大数据分析应用平台大数据分析应用平台3.2.13.2.1 总体介绍总体介绍国云数据自主研发的魔镜大数据分析挖掘平台,包含了大数据存储、大数据分析与挖掘、大数据展示与可视化这五大模块。大数据采集清洗后
19、进行存储处理,然后进行分析与挖掘,最后将分析结果可视化展示出来给决策者及相关人员。实验室可以让学生对整个大数据领域知识与技能进行系统训练和学习,同时学生还可依托实验室软硬件条件进行相关的研究。3.2.23.2.2 系统架构系统架构3.2.33.2.3 多数据源支持多数据源支持第 13 页 共 46 页商务数据分析与应用中心建设方案汇报系统可以支持多数据源:传统关系型数据库:mysql、SqlServer、Oracle、DB2 等;文件型数据:excel、csv、txt 等;社会化数据源:百度、聚合、京东云等;大数据数据源:hive、spark、impala 等。第 14 页 共 46 页商务数
20、据分析与应用中心建设方案汇报系统同时支持以上数据源联合分析,换而言之,系统支持在逻辑上聚集复杂的异构数据源。3.2.43.2.4 内存计算内存计算内存计算或分布式文件系统存储计算是大数据中不可或缺的高级环节。由于部署底层的 hadoop 框架作为支持,系统只需要采用内存计算来保证实时性和快速计算能力即可。而且在业界中内存计算技术是公认的高于甚至可以替代hadoop 等类似技术的高级解决方案。在学生实践环节,可以达到对大量、复杂的数据高速的计算效率。因此内存计算是大数据实训系统不可或缺的核心技术。3.2.53.2.5 自动建模自动建模跨表、跨库、跨区域快速聚集异构数据源。第 15 页 共 46
21、页商务数据分析与应用中心建设方案汇报3.2.63.2.6 拖拽式操作拖拽式操作学生可以直接通过拖拽使用,无需深厚的计算机技术基础,通过对数据分析操作,能快速发掘数据中存在的价值。第 16 页 共 46 页商务数据分析与应用中心建设方案汇报3.2.73.2.7 探索式分析探索式分析横向(探索式分析)纵向(钻取)帮助学生全面了解数据各个细节。传统的数据分析平台只能解决的是“看什么要什么”的问题,学生在面对海量数据时,这种模式只能将过去的数据粗浅的展现而已,但是却不能发现问题的所在,对解决问题,以及后续的工作和管理流程改进没有贡献。而学生将来进入企业从事数据分析工作,如果不能改进企业工作和管理流程,
22、那现今的教学也将失去意义。因此,该系统必须具有探索式分析的功能。探索式分析可以实现上卷、下钻等分析方式,学生可将数据层层剥离,深入问题本质,解决“掌控现在”的问题,从而可以得到切实改进工作和管理流程的方案。3.2.83.2.8 数据可视化丰富直观数据可视化丰富直观饼图、柱状图、线图、地图、树状图、标签云、雷达图、环形图、组合图.丰富可视化效果任意选择,打破常规图形样式。数据可视化模块中,系统摒弃了传统第 17 页 共 46 页商务数据分析与应用中心建设方案汇报低效的 Flash 方式,并取而代之采用了目前最流行的 Html5 和 CSS3,使之可以支持更多终端,D3Canvas 在 HTML5
23、 环境下渲染 5000 个点,首次只需要 76ms,重新渲染只需要平均 25ms(40FPS);用简单易行的拖拽方式构建SQL 生成器的核心功能,取代传统繁冗的数据获取方式和数据透视,使学生轻易掌握数据可视化这样专业的技术。同时基于 HTML5 的数据可视化技术也可以支持各种移动终端以及大屏展示,平台只部署一个,但是学生随时随地可以使用。3.2.93.2.9 智能分析、数据挖掘智能分析、数据挖掘数据挖掘亦是大数据技术中的高级技术之一,旨在发现数据内部隐藏的关联。其意义是可以“出乎意料”的发现一些数据内部的本质,也可以有方向性的进行挖掘,辅助决策。智能分析:学生可以利用可视化操作快速完成数据挖掘
24、。聚类分析:使用聚类算法,在数据中发现相互间拥有非常不明显关联的数据组,快速完成客户细分精准营销的过程。趋势预测:根据以往的历史数据归纳出发展的规律,并根据业务场景需求自动预测未来某个时间点的某项维度的数据。第 18 页 共 46 页商务数据分析与应用中心建设方案汇报文本解析、关联分析、决策树模型等更多数据模型精准营销精准营销-数据预测值数据预测值第 19 页 共 46 页商务数据分析与应用中心建设方案汇报3.2.103.2.10 可视化效果展示可视化效果展示1)南平可视化2)安全监控第 20 页 共 46 页商务数据分析与应用中心建设方案汇报3)食品监管4 4)交通监控)交通监控第 21 页
25、 共 46 页商务数据分析与应用中心建设方案汇报第 22 页 共 46 页商务数据分析与应用中心建设方案汇报第四章第四章 商务数据分析与应用人才培养及课程建设服务商务数据分析与应用人才培养及课程建设服务第四章第四章 商务数据分析与应用技能培养及课程建设服务商务数据分析与应用技能培养及课程建设服务4.14.1 商务数据分析技能培养商务数据分析技能培养4.1.14.1.1 技能目标技能目标掌握商务数据分析与应用的基本技能,掌握从事数据采集、数据处理、数据分析、数据可视化等相关工作技能。4.1.24.1.2 对口职业技能对口职业技能运营分析市场分析客户分析产品分析数据分析4.1.34.1.3 工作技
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 商务 数据 分析 应用 中心 建设 方案 汇报
限制150内