云数据采集中心部署方案及实施计划.doc

《云数据采集中心部署方案及实施计划.doc》由会员分享，可在线阅读，更多相关《云数据采集中心部署方案及实施计划.doc（3页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云数据采集中心部署方案及实施计划1.软件配置表序号名称配置描述部署硬件服务器数量用途1.S2DFS分布式文件系统存储及计算服务器10用来存储非结构 化和结构化数据， 比如:视频、图片、 文档等富媒体文件2.JSS作业调度服务进程存储及计算服务器2作业（任务）的调 度程序，是计算任 务的发起者和调 度者3.DCS数据计算服务进程存储及计算服务器10作业（任务）的具 体负责计算的程 序，接受 JSS 的分 配任务，处理任 务，比如：图片特征批评，视频的分 析等等4.JGS作业自动生成进程存储及计算服务器2作业（任务）的自 动生成，主要用来 生成固定规则的 任务，比如台标数 据清理任务5.ACS自动

2、清理服务进程存储及计算服务器2自动定时清除没 有利用价值的历 史数据，垃圾数据6.MPS消息处理服务进程WEB 及消息服务器6获取分布式消息 队列中的数据，并 对获取的数据进 行既定规则的业 务处理，最后把数 据存储在 S2DFS 或者 D2B 中7.SDS实时流数据处理服务进程WEB 及消息服务器6能够实时持续的 完成流式数据的 计算处理，具有实 时性，低延迟特 点，与批计算相对应8.D2B分布式数据库（开源）分布式数据库服务器10分布式 noSQL 数 据库，完成海量结 构化数据的存储， 具有容量大，分布 式，易扩展，性能 好的特点实施计划序号工作内容完成时间1.实施启动2017725 前2.部署并联调硬件（安装操作系统）及局域网网络，包括外接三线光纤网络2017810 前3.部 署 并 联 调 PostgreSQL 9.3 x64 for LinuxApache&Tomcat 7.02017915 前4.部署并联调分布式文件系统（S2DFS）、部署分布式数据库（D2B）、分布式消息（DMQ）2017930前5.企业数据采集服务、投资商数据采集服务、采集任务管理、云数据存储、云中心监控功能开发2017-10-31前6.企业数据采购、投资商数据采购2017-10-31前7.试运行完成，项目验收2017-12-31前