欢迎来到淘文阁 - 分享文档赚钱的网站! | 帮助中心 好文档才是您的得力助手!
淘文阁 - 分享文档赚钱的网站
全部分类
  • 研究报告>
  • 管理文献>
  • 标准材料>
  • 技术资料>
  • 教育专区>
  • 应用文书>
  • 生活休闲>
  • 考试试题>
  • pptx模板>
  • 工商注册>
  • 期刊短文>
  • 图片设计>
  • ImageVerifierCode 换一换

    大数据平台设计说明书.docx

    • 资源ID:35107242       资源大小:64.78KB        全文页数:43页
    • 资源格式: DOCX        下载积分:20金币
    快捷下载 游客一键下载
    会员登录下载
    微信登录下载
    三方登录下载: 微信开放平台登录   QQ登录  
    二维码
    微信扫一扫登录
    下载资源需要20金币
    邮箱/手机:
    温馨提示:
    快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。
    如填写123,账号就是123,密码也是123。
    支付方式: 支付宝    微信支付   
    验证码:   换一换

     
    账号:
    密码:
    验证码:   换一换
      忘记密码?
        
    友情提示
    2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
    3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
    4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
    5、试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。

    大数据平台设计说明书.docx

    计算平台概要设计说明书文件编号受控编号版次1.0密级内部公开总页数42附录 刘华全 日期: 2013-01-28 日期: 日期: (版权所有,翻版必究)文件修改记录修改日期修改状态修改页码及条款修改人审核人批准人2013-01-28新建刘华全目 录1.引言5编写目5术语及缩略词6对象及范围8参考资料92.系统总体设计9需求规定9数据导入9数据运算9运算结果导出10系统监控10调度功能11自动化安装部署及维护11运行环境12基本设计思路和处理流程13系统结构14大数据运算系统架构图14hadoop体系各组件之间关系图14计算平台系统功能图15系统功能图逻辑说明16计算平台业务流程图16尚未解决问题173.模块/功能设计17计算驱动模块17设计思路17流程图19处理逻辑20调度模块20设计思路20流程图22处理逻辑23自动化安装部署模块23设计思路23处理逻辑23调度模块及计算驱动模块交互流程24处理流程图24处理逻辑24hadoop驱动模块调用驱动接口25调度模块接收hadoop执行状态接口25调度模块及kettle交互流程26处理流程图26处理逻辑27对调度任务运行过程进行监控流程27处理流程图27处理逻辑27对hadoop驱动任务运行过程进行监控流程28处理流程图28处理逻辑28对操作系统/应用程序监控流程29处理流程图29处理逻辑29监控报警模块30设计思路30流程图31处理逻辑314.系统数据结构设计32数据实体关系图32数据逻辑结构32驱动任务设置表32驱动设置表33驱动任务执行明细表34调度任务表34调度步骤表35调度步骤执行记录表36操作系统监控数据表37应用程序监控数据表38监控系统配置表38业务数据记录表39数据物理结构395.安全设计396.容错设计40挽救措施40系统维护设计407.日志设计401. 引言1.1 编写目 大数据泛指巨量数据集,因可从中挖掘出有价值信息而受到重视。华尔街日报将大数据时代、智能化生产与无线网络革命称为引领未来繁荣三大技术变革。麦肯锡公司报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高前沿。世界经济论坛报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点重要抓手。 互联网特别是移动互联网发展,加快了信息化向社会经济各方面、大众日常生活渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生信息量可刻满亿张DVD光盘。我国网民数居世界之首,每天产生数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)摄像头一小时能产生数据,一个城市若安装几十万个交通与安防摄像头,每月产生数据量将达几十PB。医院也是数据产生集中地方。现在,一个病人CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。信息爆炸不自今日起,但近年来人们更加感受到大数据来势迅猛。一方面,网民数量不断增加,另一方面,以物联网与家电为代表联网设备数量增长更快。2007年全球有5亿个设备联网,人均个;2013年全球将有500亿个设备联网,人均70个。随着宽带化发展,人均网络接入带宽与流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许时间内用常规软件工具对其内容进行抓取、管理与处理。数据规模越大,处理难度也越大,但对其进行挖掘可能得到价值更大,这就是大数据热原因。鉴于越来越大数据规模,采用常规基于DBMS数据分析工具与方法已经无法满足大规模数据分析需求,目前一些大型互联网公司采用hadoop体系进行大规模数据运算,结合hadoop体系结构及实际运算需求结合,采用hadoop 体系结构分布式运算模型,通过集群方式实现大数据运算,为企业提供大数据价值。 为适应大数据计算要求,同时提供大数据运算平台系统设计依据,特制定计算平台系统概要设计文档,为后期系统详细设计与实现提供依据。1.2 术语及缩略词 下列术语、定义与缩略语适用于本标准:术语及缩略词解 释备 注NamenodeHDFS采用master/slave架构。一个HDFS集群是由一个Namenode与一定数目Datanodes组成。Namenode是一个中心服务器,负责管理文件系统名字空间(namespace)以及客户端对文件访问。Namenode执行文件系统名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点映射Datanode集群中Datanode一般是一个节点一个,负责管理它所在节点上存储。HDFS暴露了文件系统名字空间,用户能够以文件形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组Datanode上。Datanode负责处理文件系统客户端读写请求。在Namenode统一调度下进行数据块创建、删除与复制Secondnamenode光从字面上来理解,很容易让一些初学者先入为主认为:SecondaryNameNode(snn)就是NameNode(nn)热备进程。其实不是。snn是HDFS架构中一个组成部分,但是经常由于名字而被人误解它真正用途,其实它真正用途,是用来保存namenode中对HDFS metadata信息备份,并减少namenode重启时间JobtrackerJobTracker是MapReduce框架中最主要类之一,所有job执行都由它来调度,而且Hadoop系统中只配置一个JobTracker 应用。 它们都是由一个master服务JobTracker与多个运行于多个节点slaver服务TaskTracker两个类提供服务调度。 master负责调度job每一个子任务task运行于slave上,并监控它们,如果发现有失败task就重新运行它,slave则负责直接执行每一个taskTaskTrackerTaskTracker都需要运行在HDFSDataNode上,而JobTracker则不需要,一般情况应该把JobTracker 部署在单独机器上HBaseHBase是一个分布式、面向列开源数据库,该技术来源于Chang et al所撰写Google论文“Bigtable:一个结构化数据分布式存储系统”。就像Bigtable利用了Google文件系统()所提供分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable能力。HBase是ApacheHadoop项目子项目。HBase不同于一般关系数据库,它是一个适合于非结构化数据存储数据库。另一个不同是HBase基于列而不是基于行模式。Hivehive是基于Hadoop一个数据仓库工具,可以将结构化数据文件映射为一张数据库表,并提供完整sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单MapReduce统计,不必开发专门MapReduce应用,十分适合数据仓库统计分析。 StormStorm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群另一种方式。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流形式输出给用户。它还可被用于“分布式RPC”,以并行方式运行昂贵运算。FlumeFlume是Cloudera提供一个高可用,高可靠,分布式海量日志采集、聚合与传输系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)能力。ETLETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)过程。是构建数据仓库重要一环,用户从数据源抽取出所需数据,经过数据清洗,最终按照预先定义好数据仓库模型,将数据加载到数据仓库中去。KettleKettle是一款国外开源ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。MySQLMySQL是一个开放源码小型关联式数据库管理系统,开发者为瑞典MySQL AB公司。目前MySQL被广泛地应用在Internet上中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MongoDBMongoDB是一个介于关系数据库与非关系数据库之间产品,是非关系数据库当中功能最丰富,最像关系数据库。他支持数据结构非常松散,是类似jsonbson格式,因此可以存储比较复杂数据类型。Mongo最大特点是他支持查询语言非常强大,其语法有点类似于面向对象查询语言,几乎可以实现类似关系数据库单表查询绝大部分功能,而且还支持对数据建立索引。1.3 对象及范围1、开发人员、DBA、测试人员;2、研发主管领导、产品人员;1.4 参考资料1、大数据处理体系架构2、HBase The Definitive Guide3、4、Programming_Hive2. 系统总体设计2.1 需求规定2.2 运行环境操作系统:软件环境: Hadoop-1.硬件环境:8核16G内存PC服务器8台2.3 基本设计思路与处理流程1、按照数据分析实时性,分为在线数据分析与离线数据分析。 2、在线数据分析:往往要求系统在数秒内返回上亿行数据分析,从而才能达到不影响用户体验目。 3、离线数据分析:对大多数反馈时间要求不高应用,比如离线统计分析、机器学习等,应采用离线分析方式,通过数据采集工具将日志数据导入专门分析平台进行分析。4、系统主要以离线数据分析为主,采用目前在互联网业界流行hadoop体系结构对大批量数据进行运算,采用hadoop集群方式对大数据进行运算。5、数据运算平台以调度为主线,作为运算平台核心控制系统,对运算平台各个环节进行控制,且对运算过程中步骤依赖关系进行控制,同时对各个环节进行监控,通过监控异常报警来提高系统稳定性与异常响应速度。2.4 系统结构2.4.1 大数据运算系统架构图日志存储统计分析数据应用Hadoop(HDFS、HBASE)在线计算: Storm 流计算框架离线计算: Hadoop(Map/Reduce、Hive、pig)日志采集 日志采集系统 Flume数据服务数据提取,报表展现,功能、网页展示 统计、分析数据存储,数据接口MongoDB、MySql2.4.2 大数据平台系统功能图系统功能图逻辑说明1) 生产系统源数据通过sqoop,flume,Kettle等获取后保存在Kafka消息队列中或者保存到hadoophdfs系统中。2) 调度系统负责自身控制功能,通过读取调度控制配置信息调用驱动代理程序处理相关运算功能。3) 驱动代理程序负责所有基于运算平台相关组件驱动任务,读取调度系统传递过来模版信息,读取模版信息,并执行相应驱动操作。4) 系统管理功能部分完成系统相关配置,管理等相关信息维护操作。5) 监控系统对整个系统运行状况进行监控,由各个业务子系统按照监控系统要求实现相应监控功能。2.4.3 大数据平台功能结构图大数据平台功能结构图说明:1)大数据平台功能结构主要划分为计算平台,应用平台,系统管理以及监控,配置等相关应用功能。2)计算平台分为基础运算部分,模版管理部分,驱动代理部分,系统调度部分。3)计算平台分为离线计算及实时计算两种形式。4)计算平台基于模版功能开发,实际应用中做到模版热插拔,对于功能需求只需要开发相应模版,并部署上计算平台即可应用。5)驱动代理程序管理所有基于大数据运算相关组件代理功能,对外提供给调度系统应用,调用模版设置相应类型,进行相应类型驱动操作。6)调度系统只关心其自身系统控制能力,不参及具体业务以及计算功能组件调用。2.5 尚未解决问题无3. 模块/功能设计3.1 调度模块3.1.1 设计思路一:调度模块实现功能思路 二:流程说明以及注意事项:1、 任务及步骤采用配置表方式保存在mysql中,调度程序定时扫描任务表,判断是否有启动任务,如果有启动任务,则启动任务。2、 调度任务需要判断任务中步骤之间依赖关系,根据依赖关系判断是否可以执行下一步执行步骤。3、 一个任务中可以包含多个步骤,每个步骤为一个具体任务,步骤及步骤直接存在依赖关系。4、 对于具体执行任务将由驱动代理自动完成。3.1.2 流程图3.1.3 处理逻辑1、调度任务启动后扫描任务配置表,看任务配置表是否存在需要处理任务信息,如果不存在需要处理任务信息,则线程执行休眠,否则执行步骤2;2、生成数据日期,并检查任务依赖关系,如果依赖关系未执行完,则现成等待操作,等待依赖任务执行完成,如果依赖关系都执行完,则获取符合条件任务,执行步骤3:3、读取任务信息表,获取任务信息,根据任务信息读取步骤信息,执行相应步骤操作,执行步骤4;4、根据步骤信息配置获取需要执行相应模版信息,调用驱动代理程序执行相应功能,执行步骤5;5、驱动代理程序执行模版初始化,初始化完成后获取相应参数数据,并根据模版类型选择具体驱动程序,执行相应操作。6、判断该任务下步骤是否执行完成,如果未执行完成,则执行步骤3,继续下一个步骤执行,否则执行步骤7;7、写步骤完成信息表,判断是否还存在要执行任务,如果没有等待,存在需要执行任务则执行步骤3.3.2 驱动代理模块3.2.1 设计思路一:计算驱动模块实现功能思路二:流程说明以及注意事项:1、计算平台驱动提供针对Hive,MapReduce,Hbase等相关驱动应用。2、基于业务模版设置操作,调度执行业务模版,不关心模版具体业务形态。3、一个驱动应用包含四个步骤:1)删除不用数据;2)加载数据;3)运算;4)导出结果文件。4、提供监控需要相应信息。5、对于文件操作,会涉及到多个文件或者目录操作,多个文件或者目录以逗号分隔,对文件操作中涉及到一些按照小时,天,月份文件命名操作,配置中以特殊字符进行替换。3.2.2 流程图3.2.3 处理逻辑1、由调度程序驱动代理模块,调用驱动代理模块驱动应用,传递需要驱动模版编号,处理时间范围等相关信息,执行流程2;2、驱动程序首先查询是否存在该模版,如果不存在模版,、则执行流程3,否则执行流程4;3、则直接返回任务失败信息,不存在相关模版,整个流程结束;4、如果查询到相关模版信息,先执行初始化模版信息以及需要删除中间文件,多个文件以逗号分割,如果为空则表示不需要清理中间文件,执行流程5;5、清理hive表数据操作,多个hive语句以逗号分割,如果为空则表示不需要进行分割,执行流程66、判断该操作是hive驱动mapreduce还是自定义mapreduce,如果是自定义mapreduce则走自定义mapreduce操作,执行流程7,否则如果是hive驱动mapreduce,则走hive操作流程,否则执行流程8;7、如果mapreduce操作流程,第一步执行加载文本文件数据,多个文本文件以逗号进行分割,第二步执行mapreduce操作,通过shell脚本方式执行mapreduce操作,第三步执行完后将结果输出。8、如果是hive操作流程,第一步先执行加载文本文件到hive表,如果有多个文件操作一逗号分割,第二步执行hive语句,多个hive语句以逗号分割方式,第三步将结果输出到相应hive表中。9、根据设置导出方式,将结果文件导出到mysql,或者mongodb,或者直接将文本文件从hdfs文件系统中导出。3.3 对操作系统/应用程序监控流程3.3.1 处理流程图3.3.2 处理逻辑1、读取监控服务器列表,判断是否需要监控,如果需要监控,则执行步骤2,如果不需要监控,执行步骤5;2、监控模块向监控服务器发送监控请求,等到被监控服务器返回,执行步骤3;3、被监控服务器接收到请求监控信息后,将相关信息返回给监控模块,执行步骤4;4、监控服务器将返回数据进行解析后入库,执行步骤5;5、判断被监控服务器是否都请求完成,如果请求完成,则执行步骤6,否则执行步骤1;6、监控模块线程休眠10分钟,等待下次进行监控,执行步骤1.3.4 监控报警模块3.4.1 设计思路一:监控模块实现功能思路 二:流程说明以及注意事项: 1、监控报警模块主要完成三个级别监控报警,分为: 1)操作系统级别,检测运行机器操作系统是否正常运行,CPU,内存,I/O,存储等资源利用情况,采用LinuxShell脚本对相关信息进行收集并上报; 2)应用程序级别监控,检测kettle,hadoop,hive,hbase,zookeeper等相关程序是否正常启动,以及应用程序相关资源监控。 3)程序数据级别监控,对数据情况进行监控,主要是数据异常监控。2、监控模块主要负责监控数据采集,数据异常报警,以及后期监控数据展示等功能。3、对于系统级别与应用程序级别监控数据采集采用由监控模块主动调用相应应用接口方式采集数据,对于应用数据级别监控则由各个应用将相关数据写入到数据库表,由监控系统对其进行扫描。4、监控模块报警机制支持优先级报警模式,对于优先级较高,需要紧急处理报警,需要不间断进行报警,但需要设置报警频率,如10分钟重复一次。5、监控报警模式采用邮件监控方式,辅助以短信提醒方式。3.4.2 流程图3.4.3 处理逻辑1、监控报警启动采用启动启动方式进行,当监控报警线程启动后判断是否到达监控时间点,如果未到达监控时间点,则线程休眠1分钟后再次进行判断,如果到达监控时间点则执行步骤2。2、读取需要监控任务列表,得到需要监控任务,执行步骤3。3、对监控任务源数据进行扫描,判断是否存在异常,如果存在异常则保存监控异常数据,执行步骤4,否则执行步骤1。4、判断监控列表是否都执行完,如果执行完,对于异常情况以邮件方式通知相关人,否则执行步骤3。4. 系统数据结构设计4.1 数据实体关系图详细图例见附件4.2 数据逻辑结构4.2.1 调度任务表字段说明数据类型是否为空主键备注TaskId 任务ID int否是主键,自增长IDTaskName 任务名称Varchar(255)否TaskDesc 任务描述Varchar(500)是Priority优先级int是数值110值越大优先级越高,默认5 CycleType 周期类型int否0.执行一次1.分钟 2.小时 3.天 4.月Interval频次间隔Int是整数PlanRunTime预期执行时长Int是单位:分钟LastRunDate最后执行日期int否Status 任务状态int否0.正常 1.暂停CreateUser创建人Varchar(255)否CreateTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.2 调度步骤表字段说明数据类型是否为空主键备注StepId 步骤ID int否是主键,自增长ID TaskId任务IDint否“任务表”主键StepSort执行顺序int否相同则表示并行StepName步骤名称Varchar(255)否TemplateID模板IDInt否PlanRunTime预期执行时长Int是单位:分钟CreateUser创建人Varchar(255)否CreateTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.3 调度任务依赖表字段说明数据类型是否为空主键备注TaskId任务IDint否FatherId父任务IDint否4.2.4 调度任务运行日志表字段说明数据类型是否为空主键备注SerialId 记录ID Int否是主键,自增长IDTaskDate 任务日期Int否TaskId 任务ID Int否“任务表”主键Status任务状态Int否0.初始化1执行中2.已完成 -99.执行错误RetryTimes重试次数IntBeginTime 开始执行时间Date是EndTime 结束执行时间Date是CreateTime创建时间Date否ModifyTime修改时间Date是4.2.5 调度步骤运行日志表字段说明数据类型是否为空主键备注SerialId 记录ID Int否是主键,自增长IDTaskDate步骤日期Int否TaskId 任务ID Int否“任务表”主键StepId 步骤ID Int否“步骤表”主键StepSort步骤序号int否Status 步骤状态Int否0.初始化 1.执行中 2.已完成 -99.执行错误RetryTimes重试次数IntBeginTime 开始执行时间Date是EndTime 结束执行时间Date是CreateTime创建时间Date否ModifyTime修改时间Date是4.2.6 调度步骤运行错误日志表字段说明数据类型是否为空主键备注SerialId记录ID Int否是主键,自增长IDTaskDate任务日期Int否TaskId 任务ID Int否StepId 步骤ID Int否ErrorInfo错误信息Varchar(4000)否InsertTime记录时间Date是4.2.7 系统资源表字段说明数据类型是否为空主键备注ResourceId资源ID Int否是主键,自增长IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInfo硬盘信息Varchar(4000)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.8 服务器机器表字段说明数据类型是否为空主键备注MachineId机型ID Int否是主键,自增长IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInfo硬盘信息Varchar(4000)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.9 服务器信息表字段说明数据类型是否为空主键备注ServerId服务器ID Int否是主键,自增长IDServerName服务器名称Varchar(256)是ServerIp服务器IPVarchar(256)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.10 系统管理信息表字段说明数据类型是否为空主键备注SystemId服务器ID Int否是主键,自增长IDMachineId机型ID Int否ResourceId资源ID Int否 ServerId服务器ID Int否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.11 集群信息表字段说明数据类型是否为空主键备注ClusterId集群ID Int否是主键,自增长IDClusterName集群名称 Varchar(256)是ClusterPath集群配置目录Varchar(256)是 Remark集群配置备注Varchar(256)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.12 集群列表字段说明数据类型是否为空主键备注ListId集群列表ID Int否是主键,自增长IDClusterId集群ID Int否ServerId服务器ID Int否 CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.13 系统配置表字段说明数据类型是否为空主键备注ConfigId系统配置ID Int否是主键,自增长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否 ClusterId集群ID Int否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.14 Hadoop参数配置表字段说明数据类型是否为空主键备注ConfigId系统配置ID Int否是主键,自增长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否 ClusterId集群ID Int否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.15 Jar配置表字段说明数据类型是否为空主键备注ConfigId系统配置ID Int否是主键,自增长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否 ClusterId集群ID Int否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.16 系统用户名表字段说明数据类型是否为空主键备注UserId用户ID Int否是主键,自增长IDUserName用户名Varchar(256)否UserPassWd用户密码Varchar(256)否 CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.17 模版信息表字段说明数据类型是否为空主键备注TemplateId模版ID Int否是主键,自增长IDTemplateName模版名称Varchar(256)否TemplateType模版类型Int否 TemplatePath模版路径Varchar(256)否CreateTime记录创建时间Date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.18 模版参数表字段说明数据类型是否为空主键备注ParametersId参数IDInt否是主键,自增长IDParametersName参数名称Varchar(256)否ParametersType参数类型Int否 TemplateId模版ID Int否CreateTime记录创建时间Date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.19 实

    注意事项

    本文(大数据平台设计说明书.docx)为本站会员(叶***)主动上传,淘文阁 - 分享文档赚钱的网站仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知淘文阁 - 分享文档赚钱的网站(点击联系客服),我们立即给予删除!

    温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。




    关于淘文阁 - 版权申诉 - 用户使用规则 - 积分规则 - 联系我们

    本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

    工信部备案号:黑ICP备15003705号 © 2020-2023 www.taowenge.com 淘文阁 

    收起
    展开