2022年生产企业大数据平台建设项目建议书v2.docx

《2022年生产企业大数据平台建设项目建议书v2.docx》由会员分享，可在线阅读，更多相关《2022年生产企业大数据平台建设项目建议书v2.docx（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品学习资源大数据平台建设项目建议书欢迎下载精品学习资源目录第一章、项目背景 .3其次章、项目思路 .4第三章、建设内容与方案 .5第四章、时间进度 .13第五章、项目预算 .15第六章、企业效益及社会效益 .15第七章、结论 .15欢迎下载精品学习资源第一章、项目背景企业对信息化工作历来较为重视， 也是省内较早开头实施信息化的大型企业；目前已经建成财务系统、生产调度系统、农务系统、供应链系统等:调度系统， 2021 年公司共投资了 175 万元，按集团分步建设、逐步投入的规划，完成了系统基本硬件与亚控平台软件的结合， 构建了一个以明阳糖厂生产调度指挥中心为核心，生产信息能够上至集团，下至车间

2、的生产调度网络系统；农务系统， 2005 年开头实施， 经过多次升级， 现涵盖了方案、 报蔗、派车、质检、过磅、结算、短信治理、移动应用等一系列模块，掩盖公司 4 家直属糖厂和大桥制糖公司，实现了农务统一的信息化治理；供应链系统，利用用友 NC供应链系统，以公司存货治理为核心的采、供、销、存供应链治理平台，实现物资、仓储、供应、销售、物流一体化业务协同处 理平台，建立了公司对各直属厂工作的监督平台， 总部可以实时对下属各公司的工作进行监督， 实时对各公司的具体业务执行情形进行查看， 准时的对下属公司进行指导和监督；尽管在两化融合及企业信息化方面已取得了相当的成效，但在实际应用过程中仍旧存在一些

3、较为显著的问题；（一） 总部与下属糖厂未实现完全的集约治理a) 企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂；三博五厂由上海迁回南宁，在宜州设立治理下属五厂的二级治理总部；b) 从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下属五厂为一套架构，各自独立，暂未整合为一体；c) 为了保证各糖厂生产的稳固，企业总部与下属六厂之间仅在NC供应链、OA、财务、人力等系统方面实现了集约治理，农务治理系统、生产调度系统以及化验系统均由各厂自建，因此显现各厂建设系统的厂家不同， 使用的系统版本不同等现象；三博总部与下属五厂的关系亦如此；（二） 总部及各厂之间的数据共享有限a) 由于大多数

4、生产相关的系统均为各厂自建，因此不管是企业总部，或者是三博总部在猎取各糖厂生产相关数据上均较为困难；b) 企业总部通过制定报表模板、开发报表同步功能的方式，定期的猎取下欢迎下载精品学习资源属六家糖厂的生产相关报表，但这些报表的数据容量有限、数据出现较为固定，无法为总部经营决策供应实时、敏捷的数据依据；c) 三博总部猎取下属糖厂的数据方式更为有限，仅依靠各厂依据总部的业务需求进行手工填写，通过邮件、微信等方式提交数据报表，汇总到三博总部；（三） 各业务部门对将来的数据应用有着剧烈的需求a) 当前业务条线对于将来大数据平台建设的需求仍处于较为初步的设想阶段，但已具雏形：b) 进一步完善供产销流程中

5、系统数据采集才能，特别是对于甘蔗种植面积的测绘、甘蔗产量的估算等信息，因此对于 GIS 地理信息系统的上线有需求；c) 提高总部对于各厂生产数据的猎取及共享才能，解决目前总部各部门、总部与各厂、各厂与各厂之间数据不流通、共享困难的现状；d) 提高内部各平台数据对于生产经营的指导作用，充分利用各环节系统流程数据汇总，产出经营决策建议、比照分析、趋势统计、效益分析等数据应用；e) 实时、动态、快速的把握外部环境的动向，包括行业进展、原材料、供应商、产品销售、竞争对手等信息，以形成内外部数据的融合，为生产经营决策供应数据支撑；其次章、项目思路为明白决内部各厂、 各系统之间的数据共享问题， 此次项目将

6、依靠现有的农务治理平台、 NC供应链平台、生产调度平台、 电子商务平台、 协同工作平台 OA、质量治理平台等一系列业务相关系统，通过制定肯定的标准， 整合下属各厂各系统数据， 打造统一的大数据平台及智能决策分析平台；利用大数据分析技术， 为公司治理层、 业务部门及各生产单位供应具有指导意义的数据分析结果，实现生产精准化、治理可视化；依据对内部信息化及系统部署情形的分析， 此次项目将依据由近及远、 由浅欢迎下载精品学习资源入深的方式划分为几个阶段：（一） 对总部及下属六厂各系统的数据进行整合、共享及分析，以企业六厂为基础，搭建大数据平台框架， 在不对基础系统进行迁移整合的前提下， 对数据进行整合

7、并建立数据之间的关系； 并制定肯定的数据采集规章， 猎取三博五厂的数据；（二） 基于大数据平台全面的数据共享才能，强化数据的表达深度，能够对原有汇总的报表数据进行更细粒度的表达和展现； 这里可能需要创建新的应用服务系统或者是扩充原有的服务系统来完成；（三） 完全整合三博所属五厂系统及数据，排除企业内部的数据孤岛；（四） 面对外部进行数据扩充，例如利用网络进行相关行业的数据抓取，并将数据整合到大数据平台，结合既有的内部数据建立运营决策系统；第三章、 建设内容与方案基于对整合三博五厂系统及数据难度的考虑， 本次项目以第一、 其次阶段作为项目的主要内容；3.1 、建立大数据平台基础架构，整合现有生产

8、及治理系统由合作方负责建设大数据平台基础架构，整合现有的各个生产及治理系统， 将各系统的生产及治理数据进行集中统一治理、分析，对大数据平台建设供应相应的支撑；大数据平台的总体架构及模块部署情形如下：欢迎下载精品学习资源、总体架构3.1.2 、模块划分及部署依据大数据平台建设的要求， 大数据智能决策平台 大数据储备、 运算及分析平台主要由三大模块组成：数据采集模块、储备运算模块及拜访支撑模块；. 数据采集模块：数据采集模块供应支持多数据源提取、多通道传输、多种方式聚合的数据采集工具及接口，包括 flume 代理集群日志采集、 Chukwa 实时数据采集、Python 网络数据爬取、Sqoop关系

9、数据库数据批量提取、 HDFS 文件上传下载 FTP客户端及多通道数据源整合实时分布式消息系统 Kafka；. 储备运算模块：储备运算模块实现了海量数据储备、批处理运算、实时运算、机器学习、图运算、实时查询及集群运行监控等功能，包括 YARN分布式资源治理系统、 分布式文件系统 HDFS、Spark/MR 批处理、Spark 实时计欢迎下载精品学习资源算、GraphX图运算、 MLLib 机器学习、 Hbase实时查询、 Hive 等 Sql 运算引擎、MySql 关系型数据库及 Dr.Elephant 等可视化集群监控工具；. 拜访支撑模块：拜访支撑模块供应了上层软件易于使用和编程的大数据平

10、台层接口及内存数据库，包括封装了 SparkSql 、Hive 、Phoenix 的 sql 查询接口，封装了 MR、Spark 开发函数库的 API 编程接口、工具及 redis 内存数据库；系统部署： 基础 Hadoop大数据平台服务器集群由一台主机Master 、三台从机 Slaver152/153/154、组成；平台采纳分布式集群方式工作，供应N+1 冗余模式；3.1.3 、通过建设，供应储备及数据服务才能1储备才能：初期建设完毕依据其物理硬件配置，平台实现如下储备才能指标：.业务数据储备：1TB业务数据.实时数据储备：8GB.实时数据查询：2 秒.业务数据查询：10 秒. 储备动态扩

11、容才能：依据后期系统以及数据迁移的需要平台具备动态扩容才能， 在先期物理设备所供应的容量不能满意业务进展需要的请下进行动态扩容；2业务数据支持：依据企业既有业务系统以及对应的实际行业和运营特点， 基于大数据平台被划分为三级数据储备，各级储备的建设目标描述如下：欢迎下载精品学习资源运营治理数据平台储备生产支撑数据三级储备Redis财务 &供销数据供销 &农务数据农务 &生产数据生产 &办公数据二级储备HBase财务数据供销数据农务数据生产数据办公数据一级储备HDFSA. 一级储备：平台的原始业务数据储备层，面对企业内部的原有各大业务 系统，支持其将原有数据储备完全迁移到大数据平台，即供应数据融合

12、才能外仍把原有系统的基础储备支持作为平台基础才能； 也支持通过文件或者消息方式将其部分的融合数据以非实时或准实时的周期上传到大数据平台，主要用于业务数据融合；B. 二级储备：细化的融合层，主要面对现有业务之间的数据融合沟通，解 决现有业务系统之间数据互通问题； 同时在该层对于基础业务数据进行整合以及基础运算，产生新的业务数据并储备，为更高层级的业务运维供应大数据支撑；本层数据是对基础数据的第一级融合运算，主要面对业务；C. 三级储备：基于二级储备数据进行高层的决策分析运算，产生最终的运营支撑和决策分析结果数据， 该层次运算过程中将应用各种统计、 分析、学习算法；同时也赐予业务拜访特点， 将二级

13、储备的热点数据组织为热表进行储备， 对外供应高速数据拜访接口；欢迎下载精品学习资源3.2 、对目前生产及治理中涉及的数据进行采集并予以整合、内部数据整合完善现有农务治理平台、 NC供应链平台、生产调度平台、电子商务平台等与企业供产销业务流程相关的系统采集数据功能，统一集中管控的形式， 将公司治理范畴内的农户、车辆及地块信息、糖厂生产信息集中输入到公司总部平台中， 完成集中化采集及治理；1、优先针对农务系统以及生产系统进行数据整合共享，再次是 NC系统；考虑整合的主要目标是可分析业务数据， 图片图表等文件类型数据不考虑在大数据平台上储备；可以储备在其它位置仅在大数据平台上储备其位置信息；2、在各

14、分厂数据库服务器上部署数据采集代理，依据业务数据规章要求最高以准实时的要求同步数据到大数据平台；或者第一以生产报表为周期在同步报表数据的同时同步相关具体数据记录；将以上各平台采集到的结构化及非结构化的数据以统一的数据规章进行处理，通过图形可视化的方式，对采集到的数据进行抽取、转换、加工、整合，最大程度的简化数据并 采纳过程流式的组织方式进行数据集成应用开发；欢迎下载精品学习资源3.2.2 、外部数据采集利用爬虫技术， 帮忙企业把外部互联网的各类相关数据资源转变成企业的数据资产， 并且与内部数据结合， 结合的数据挖掘平台和文本处理技术， 能够从海量的文本数据中智能地猎取深度的价值信息， 最终形成

15、 行业的进展趋势、 竞争对手情报、竞品比照分析、以及各类数据供应服务，如财报数据、宏观经济数据、价格指数等 ；欢迎下载精品学习资源3.3 、利用采集的数据进行挖掘分析，输出有价值的成果3.3.1 、经营分析主要分析价值链，包括种植、加工、销售三个阶段，依据企业价值链模型展 开分析，如种植 - 加工生产选购、生产、质量 - 销售物流仓库治理、销售治理，纵向分析各职能对主价值链的支撑与协同；3.3.2 、生产分析利用大数据处理和分析方法， 挖掘工艺参数如处理甘蔗、初压汁、末压汁、打包蔗渣等流程、优化协同时间实际榨蔗时间、生产安全率、设备故障缺失 时间、部门 / 公司协作流程时间优化等 、成品糖优级

16、白砂糖、一级白砂糖、一级赤砂糖产量之间的流程工艺优化、生产能耗分析混合蔗渣、滤泥、废蜜、 帮助材料、燃料及汽电消耗等 、产能分析多维度分析，如糖产率 ，优化生产流程、降本增效、提高收益、实现利润最大化是生产主题的核心内容；欢迎下载精品学习资源3.3.3 、销售分析分别从天气、气候、成熟过程、运输等对甘蔗成品的影响，以及成品糖的整 个生产过程如收割、榨汁等分析，实现降本增效，确保甘蔗的高峰生长期间 提升甘蔗的单位产量和品质， 产糖率保持在稳固向上水平， 保持稳固不变的甘蔗欢迎下载精品学习资源甜味比率；3.3.4、行业分析1、行业进展动态跟踪2、行业进展分析1糖业进展景气指数：宏观环境数据GDP增

17、长率、工业增加值、人均收入、人口信息、农业人口、糖业产值等、市场数据总体规模、 市场份额、竞争信息等、生产数据甘蔗种植面积、 产量、产糖量、劣质比例、 销量、价格、设备运行数据等 、供应链数据竞价信息、物资仓储信息、供应销售信息、物流信息等，建立算法模型，输出糖业进展景气指数，动态显示 糖业目前进展情形；2糖业进展分析：市场经济环境分析、竞争环境分析、糖业环境进展、企业内部进展分析等；第四章、 时间进度1、建设期限如下：1系统硬件需求建议及配备：项目启动后30 天内；22021 年 12 月底完成股份大数据项目系统基础平台搭建；欢迎下载精品学习资源32021 年 6 月底，完成内外部数据的采集

18、及整合；42021 年 12 月底，完成数据整合、决策分析模型、猜测分析模型与算法；5项目整体完工： 2021 年 6 月底；2、工作方案如下：阶段任务方案时间交付地点欢迎下载精品学习资源需求调研项目启动2021/6至 2021/7广西区内指定地点欢迎下载精品学习资源范畴定义广西区内指定地点欢迎下载精品学习资源项目规划制定项目方案及实施解决方案2021/7至 2021/8广西区内指定地点欢迎下载精品学习资源系统基础平台搭建2021/8至 2021/12广西区内指定地点数据仓库广西区内指定地点主题分析广西区内指定地点数据测试广西区内指定地点2021/1至 2021/12应用测试广西区内指定地点欢

19、迎下载精品学习资源实施交付数据修改以及应用调整广西区内指定地点欢迎下载精品学习资源将开发系统组件部署到生产系统广西区内指定地点欢迎下载精品学习资源项目培训广西区内指定地点2021/1-2021/6系统上线广西区内指定地点欢迎下载精品学习资源系统优化、项目回忆及验收广西区内指定地点欢迎下载精品学习资源第五章、 项目预算本次项目投资估计 280 万元，其中项目软件投资建设费用约 200 万元，网络服务器等硬件投资约 80 万元；第六章、 企业效益及社会效益项目实施后，实现对企业总部及下属11 厂的系统数据实施整合，并进行集约化、系统化、精细化的分析， 使治理层及业务治理部门通过统一平台实现对下属各

20、厂生产情形的实时管控，以支撑更快、更精确做出相应的决策；同时，通过对原始数据的采集、储备、分析、运算，为业务流程上“蔗农、蔗管员、砍运工人、压榨、生产、销售、决策层”各环节的角色供应精细化、实时化的分析、决策指导，为增加甘蔗产量、提高生产效率、深化运营决策供应信息化基础；更进一步通过的实践， 为广西甚至全国制糖业输出具有实际参考价值的行业大数据分析及决策成果，促进全国及广西制糖业的进展；第七章、 结论1、大数据平台是国家和地方勉励类项目，符合国家和地方两化融合相关政策2、大数据平台的建设及技术的应用， 将对传统的制糖产业产生深远的影响，促进传统产业更快的向智能化、精细化、高效化方向进展；同时，作为一种重要的战略资产， 大数据应用不仅有助于企业改良产品和服务、创新业务模式， 仍可以帮忙政府部门敏捷地分析把握经济走向、 进行科学决策， 推动行业经济连续健康进展；3、大数据平台的建设将推动企业内外部数据资源的整合、利用，并形成新的数据资源，作为推动企业进一步进展的新型动力；4、建议项目尽快投资建设；欢迎下载