2022年高校大数据专业教学科研平台建设最佳方案设计.docx

《2022年高校大数据专业教学科研平台建设最佳方案设计.docx》由会员分享，可在线阅读，更多相关《2022年高校大数据专业教学科研平台建设最佳方案设计.docx（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、高校大数据专业教学科研平台建设方案一、项目建设的意义及目的芝诺数据自主研发的高校大数据教学科研平台以校企联合培养模式为手段, 通过校企合作联合培养机制，让企业、行业深度参与人才培养过程，逐步实现 校企共同制定培养目标、共同建设课程体系和教学内容、共同实施培养过程、 共同把控培养质量，全面提升学生的应用实践能力。该平台以应用型人才培养 为目标定位，在以解决现实问题为目的的前提下，使培养的学生有更宽广和跨 学科的知识视野，注重知识的实用性，有创新精神和综合运用知识的能力。注 重培养学生具有在创新中应用、在应用中创新的能力，让学生真正学会大数据 行业各个岗位真正的职业技能。二、功能模块和建设思路芝诺

2、大数据教学科研平台构建总体分为三大部分，一是平台硬件，二是教 学与实验支撑系统（包括：芝诺数据综合分析ZDM平台、芝诺数据教学实训平 台），三是产品服务体系。具体如下:组成部分序号名称型号规格与说明单位数量平台硬件1大数据教学科研一体 机大数据教学科研一体机作为芝诺大 数据教育产品的载体，是一体化大数据 教育科研的解决方案，采用新型技术体 系架构，整合软硬件系统，涵盖数据存 储、数据处理、数据展现等全环节。每套教育大数据一体机能够为40 个用户提供计算支撑服务，面向客户的 业务需求，集海量数据存储、多源异构 数据整合、统一数据目录、数据分析与 挖掘、数据可视化等功能。台1ZDM平台安装界面截图

3、:I ZDM平台登陆界面ZENO Data Matrix用户登录的依镇从生成百方务统管理缎仲安找JS题阱惨4：制必用俄用户名密码登陆后，可以看到如下的首页。不匕 3 IS n MlJtMt4HLZENODATA次箴程画用至践声.公日普介筱芝艮力*蹲公面(以F#乏出傲据)成u于2008目爱e禹ir*&GC巾分/，1：费!3金IH*;帧matu三方山用与：U开*商*0内用手EttHiklMKK万再I)&=1伊裔三注于大HlfWIflHtiA，工费保值公Q平口发，大敌备.企业&卖号d企S得占领,计X机事就!,恢伴科右、#9那美得KKKb手播假如B. N特以纨f遇分帆推得 HtniCViVA. M0I

4、Rnt9Kn . 1 *2tt inxmt.为会多ira的nil分。腐icqx*R就 SUMSifi日，庆更机敏闿曲乏痛的以妫人、CEOYJ瑚0行了*6JI呆66WZ4fi - 782 解IHiRf及主布初幅tn岌RfllJZ，他丸手主ill*羯za?一方M国重TflHI*!*率rrtgn或左整体R方 面也在大的厚力折上下了 1R多小衾6月3日，庞市军公工费*n处笊一廿0金51|01-。1-#*公霓。】作xaan&AM9iiN军处长4所用7差*|8制情人，CEO大龄费书记踊的*十复1月篇公设HieGflR匚$扁，4樽了栽10事公寅体电能W日卜*，*乾察&*方氏QJ)*fT夫EI7虐个S及IHo

5、京信优/5石。flJEi!夫2015 : 587118 Z0MII系统管理界面在系统管理界面中，“用户管理和角色管理中，可以定义角色（管理员、操作员等）、添加用户、修改用户密码等。此外，在“资源管理”页面中，可以为每一个用户指定允许安装的组件或者模块。川组件安装界面2015芝诺数据.ZDV在“组件安装”界面中，具有以下功能：基础信息配置（主机名映射）、Hadoop组件安装、Spark组件安装、数据挖掘工具安装、集群监控及HUE安装。以下逐一进行介绍。i基础信息配置基础信息配置，也即主机名映射，在初次安装Hadoop集群前需要配置各 服务器的IP地址与主机名的映射。点击“配置”按钮后，系统会在后

6、台完成以 下配置。修改各服务器的主机名，完成映射。完成各服务器之间的SSH互信。完成各服务器java JDK环境配置。test址 xxnwm韵翔8心2频第妮笞理编修铝？s-Eeas他。龙时匆件SparxSi 避仔*我oum USS 及及HUt是毗用检洪定期0琬班( J主机名联时打大安装京。Mom： w(kopihe： haiSoop；HO$t： 238HE hadoox2gse 力“ZDMii Hadoop基础组件在Hadoop基础组件页面,可以点击各个Hadoop基础组件的图标，完成 相应组件的安装及配置。说明：由于组件之间有相互依赖关系，因此，如果某个组件的前序依赖 组件没有安装，系统会提

7、示用户安装前序依赖组件。o”；yHadoop基的电件安装*系统管理组件安装HddoopgMS 尔他阚住 8m梏振工m 霾H12拄及HUE里勖匕州椎埃这跖用根锻*系统管理组件安装HddoopgMS 尔他阚住 8m梏振工m 霾H12拄及HUE里勖匕州椎埃这跖用根锻ZOOKEEPERAPACHE APACHEHBRSE KHFKROQlOOP (QDGG百iii Spark基础组件安装在Spark基础组件页面，可以点击Spark基础组件的图标，完成Spark集群(包括，Spark SQL, Spark Streaming, MILib, GraphX)的安装及配置。史SMI5/ Spark生态期安装

8、MJ3专出置理组件寿袈至岫竹包瓦置Hadoop 等幽# srK2ed?fiPWafSMIBSporK垩前西痕去iv数据挖掘工具安装在数据挖掘工具安装页面，可以点击各个数据挖掘工具的图标，完成相应工具的安装及配置。找到暝m军地*首页金奇也暮;R效相挖冬冬件安装组件辣HuJC-J?时期件 5W吗独1%住 料理旗二R笈嗽屏脚？定闻牍死但泥SparKStudioV集群监控及HUE在集群监控及HUE安装页面，可以点击相应的图标，完成Ganglia及 HUE的安装及配置。VL集群监控及HUE组件安装Ganglia射据4U但成百负系统管理组作安装基酬X，杷8MOW承璃件SP3姿啦件IHSJSi二畀 皿幡控及

9、HUE共毗用根地这制应用根灰IV基础应用模块在上述Hadoop集群及相关的组件安装配置完成后，在基础应用模块，可 以是用Rstudi。，以及查看Ganglia、HDFS、YARN的监控页面。W*货川生5fc苜员系咐理均所装地工用松娥RStud 10 GjnglO HDFSSJI?Y3砒校RstudioP”$0b。Sign m to RSTudio1 Juv iignvd eM9n lai Rstud i o登陆后可以看到如下Rstud i o的页面。（用户名：hadoop,密码:hadoop)荷贡s-txttil纽件安装RSnx*oGanglaSi传“DF5j 拄 “冷拽定虱二死杭龙2013

10、：ZDMii Gang I i a监控页面日抿帽内生代EE星姐1刈模坎KudQ 5忖斑控 moSJS varnliK正副应用倏日抿帽内生代EE星姐1刈模坎KudQ 5忖斑控 moSJS varnliK正副应用倏cluster Report for Thu, 28 Apr 2016 23:51:59 H)800Last hour ar fromtoGoetric iMd.one Sorted detcandkas cluster |-OxwaNcM Ovtrvitw of clusterCPUs Total:Hosts up：Hosts doNn：Current Lod Av (15. 5, l

11、a)： (M. OM. (MAvg Utilization (last hour): CMLocal tine：2016-04-28 23:51clutter lad last hourShov Softs $caidi 1。 Sw cluster load one last hcxir sorted descending Siw Colm9 4 n.xv；.vS113M， 5*artvp msWM生成wSaMMl MMft9而5*Overview hadoop1:9000 (active)典件安装5MGWJWStwtetf:Ion ipx 2S 29：40：X CST 2016RStUCOT

12、ervioB：24L rUrimown，卡正14-O7-51TO?:Ctt by roet frca UtAnowHOFSJHSCIb J IP:CH-eal6CO-lf39-4246-rc-4ffd?62fbBlock Pool D：BP-16337W-192.1.0.121-144863183SummarySecvity “ eff.Stfiote it “f. 65025 fxle md duectorier, 65313 blocks = 130338 total fileryste* object (r). Heep lenoxy aed 474.06 IB of 689.5 E H

13、e* Ihnoiy. Kax Beap leMcxy x? B89 JB. Mg Heap laxy uxed 41.96 IB of 42.2S XB Cowuted Ico Heap leaoxy. Hu Bcm Heap lecy is 190 0.Ccnfircred Capacity：8.66 IBDFS Ond:L82IBta DF5 UHL 38IBW3 RoMiniAf：&IBDF5 Ukft：20.99*iv YARN监控页面Loaoed in n： whoLoaoed in n： who勃耳MRa”All Applications Cluster组件安装RStudQGang

14、iaSRHDFSiJl?AbcutModesAdWsMq2S J科Mil IPO AFGTFC Rim MING TH 一 nm KZUXDCluster Us triesScheduler ToolsV定制应用模块该模块使用系统自带的数据，展示了大数据可视化的三个应用效果。i静态报表展示斗前：心；：14601。必 Dh zv15-r-31 T不哈强绢住铝？不曲T,用隹城定型亡用横中静甘去偃不 多冬茶片展：F 头啪表度不湖桁,4 力砒手 WHT 后IllIlllllllIlH2014-12201X120602201WXJ285a20155刈5QC235m201aoe2015-W201X0201

15、5-112015 ：5Wrtl ZOMii多维报表展示蜀耳刻曲WKJQ圣喀理蛆体安装县毗制lift定明C用惶坡铮肯RIR不 多？fcfiKIK示 宴时不来僵不IM第户K 12,60080开飨日HU 2011-11-202033。上网Jt里MB-2OU11201212201301201522201303201304201305201K6201X72013082013g201310201311235 ：于7ml zM。7iii动态实时报表展示其掬行七成百页系舔?5f更ft歌里3限康定Md可怛*腼三措*屉示 多缰评表展彳 二讨注东展丁(2)大数据教学实训平台芝诺数据教学实训平台包括大数据系统和大数据

16、应用2个方向共计60个 实验项目，能够为大数据教学及科研提供一个完整的、一体化的实验教学环境, 打造出全方位的专业大数据实训室。O*每个项目实验材料包括:A实验数据B实验指导C实验原理D实验环境E实验考核等内容。该平台集学员实训学习与教师教学管理于一体，因此，对于学员和教师这 两类不同的角色，可以通过不同的账号登陆，进入平台的相应界面。学员登录实训平台后，可以选择相应的实验课程，并按照实验指南完成大 数据处理与分析实操案例的教学实训，并提交实验报告。教师登陆管理平台后，可以通过对班级与学员学习情况进行管理，统计各 个班级总体学习进度、每门课程学习进度、查看学生实验报告并批阅评分等。以下就分别对

17、学生与教师这两类不同角色登陆平台后的界面操作进行说明。大数据实训管理平台登陆链接如下：http:1据.168. 0.121 ：8081/TPF1.1计算集群Master 节点24核心CPU/48G内存/900G SAS硬盘台21.2计算集群Slave节点24核心CPU/48G内存/900G SAS硬盘台31.3机柜+交换机+配件42U千兆交换机套1教学实验支撑系统2芝诺数据综合分析ZDM平台芝诺数据综合分析ZDM平台是全面 基于 Apache Hadoop 及 Apache Spark 计算框架的高性能大数据分析平台，提 供一站式大数据开发环境和工具，包括 数据存储、分布式计算、分析挖掘及数

18、据可视化的整套支持。用户可以在大数 据综合分析处理平台上采集、存储、分 析、挖掘海量数据及其内在价值。套12. 1大数据行业应用数据包超过20亿条以上具备商业价值的真实项目数据套13芝诺数据教学实训平台芝诺数据教学实训平台能够为大数 据教学及科研提供一个完整的、一体化 的实验教学环境，从而打造出全方位的 专业大数据实训室。学员登录平台后按照实验指南完成 大数据教学实训，教师通过对学员学习 情况进行大数据分析析，统计各个班级 总体学习进度、每门课程学习进度、学 生登录时间统计、所有学生学习情况统 计。套13. 1大数据实训项目实验包括大数据系统和大数据应用2个 方向共计60个实验项目，每个项目实

19、 验材料包括：实验数据、实验指导、实 验原理、实验环境、实验考核等内容。套1 大数据实训管理平台一学生登陆I学生登陆后的课程界面学生登陆后可以看到如下图所示的“我的课程”界面。大数据实训管理平台现在共有四门课程，分别为:A数据分析员B大数据分析师C大数据挖掘工程师D大数据系统工程师II点击课程，进入实验列表界面点击上述四门课程的任何一个，即可进入相应课程的实验列表界面。比如, 点击“大数据分析师课程”，就可进入如下的实验列表。注福大分gaif分买伯沙芟 taani nMHnenM 育x tux w*9n MKMIII点击“开始实验”按钮，即可进入对应实验的实训界面由于不同类型实验的实训环境不同

20、，以下分别就RStudi。与WebTerm环境 分别说明。i RStudio实训环境该实训环境主要针对大数据统计分析与建模的相应实验，也就是通过R语 言来完成相应的大数据统计分析实验。比如，点击上述大数据分析师课程实验列表中的，“R语言实现多元线性 回归模型案例”，即进入如下的实训平台界面。说明：对R语言操作的实验，需要登陆Rstudio,登陆的用户名和密码与 实训平台的用户名和密码一致。输入实训平台的用户名和密码，登陆RStudio,登陆后的界面如下。注销多元线性回归模型实操Rrtvdio学习示：1 FtMis Rstuoo奏町电科与学8mx匕事皖+.母力 errrw. sntruooooo

21、o, 也可以在超幌中修甘.量度但.2 本左情中所用的口炊40、为3223事m犷口的被4户力11肝.(mrtWHMy的在/hom/aly3.Xvafc,/Tr川，J T ,可以行谶tmt*般(fiT*f& )我便网 cp *r /hoae/cUtASOurce/dJtt.anjtyilft,dAnce/TrAin / RffBl rwe存习日5tf.加下二足，-6. 由内右加下 19.一、实验说明1 uit9跄右抬军S ,阳户各力叱6.塞研歉认力08000.如已修也也碎，用修改刈师室碎.RSlSo喜施军tn用户&KJ京WOeMTC0*8哂户&KW*Br.2 tMlRSluOo. R 白饮件.3

22、SttAW:T节。=MM可在HBT中mW”元愎伸B归幼巩I.左 El分舒叫点囊!计何美泰我. 立多元城性8日g.遂行8方与ikim塞*1检也0001 更改雷码注销多元线性回归模型实操学习示：1.本*对应RStwOoK煤城的11%除10空码与绑在必必!8至蛤泉皖中的除号效,除力 CT ,密舄歉认为000000,2由5以在包EW给冬统中博改母码.2尊H蛤中所用的R软件旗本为3 2 2.3 *女蛉4的数1囱作业用吹照源都存由在 /hOfe/datAourc/dAta.AAlys1s.dvfK/Tr1nM6 下,您可以对iSJWRMHiSHE (但不统幡 改)或使用 cp -r /hcae/dJtAi

23、ource/dJtA.AnjlysHvAdvjnce/rrjin_6 / 令将叨B鳗制 自己的学习目了下.如*iw下载的运歹到本尼炉箕矶.宵aur点由界至右边的下立*悔 ffl.一、实验说明1环*翌酰女注平台.用户吝力t谢字号,密码默武力000000 ,如黎已修茂左码利用修改后的新室码. R&go夯tt平台的用户在田哨2e8M实钻平台的用户名碓6一出2安期坦件RSlucto. R语白软件.3工蛀内容本节。至习曲谩百中于*多耐性ABO*盟问.主甘元五二下任务：双索性分析：ar.a.计一相关系也 m多元线由HOW , miss方程与事效的显在楼也色:UnEJRI J Source on Sow Q

24、 / ： n I：c le.r ：Coaiolc 3un )Source (nvirofwneni Hlsiocy-dt S _?*nporT DauvM* Ckar Clobii EromwM-rne Ho$ % rt9.tAmpto.dau.muM ar130 BUtqop.cod1 ? KB&QTratn.l IU Q vmonav11.1 KBS0001 i s6 Out * Project (Nne) Ut*JMOr，ModdvfK/TrNn_6 下,您可以对演取（但不16修 改）或使用 cp -r /hcae/dJtAiource/dJtA.AnjlysHvAdvjnce/rrji

25、n_6 / 令将叨B鳗制 自己的学习目了下.如下载的运歹到本尼炉箕矶.宵aur点由界至右边的下立*悔 ffl.一、实验说明1环*翌酰女注平台.用户吝力t谢字号,密码默武力000000 ,如黎已修茂左码利用修改后的新室码. R&go夯tt平台的用户在田哨2e8M实钻平台的用户名碓6一出2安期坦件RSlucto. R语白软件.3工蛀内容本节习曲谩百中于*多耐性ABO*盟问.主甘元五二下任务：双索性分析：ar.a.计一相关系也 m多元线由HOW , miss方程与事效的显在楼也 Train_6ip 五木所 1TF33V提交实验报告0001 更改密码注销行，m (0M X ModMdlfyttA016

26、MuM ASS 3XdlfYii支e 父2100012“12a *S$ ModeWrfl ” ii 竹包克/100029M ASS支,eas2S00Q29学姓m ass yxdlfYii 竹.*n*2100021mxmet2fOOQ孝心M SWdl118 H2900005VAs3 a$s Mo(c4Minii5ts sex*eflx2oomW*53 $ Modeniiifa 其M/rt0017Mi7a ass ModMdiniilteax2300009季昊98M ass Mddlnii国”立00004学M3 assmid” 甘吉 女伪己芟00019亨上196M SPSS ModecdMUS 美

27、己.三IV集群监控点击“集群监控”，可以进入分布式计算机集群的监控页面，如下图所示。注朝. HaSoccOI?Resow9Overview ahadooptSOOO* (active) toolSoot Procen4 2, 26 第:M30 CTT AML4L XM1 Cvm MomwOwtOT O:Bleek H。：Summaryewity ” ,ff.lafaaode & ff.0BO9 M323 blocts 13M6Y ! Cilc ().He. *Mwy1 与 90 o Ie9 1mm u 4CCharity：在该页面中，可以分别查看Hadoop集群、Spark集群、Gangl i

28、a集群监控,以及，进程启动等监控信息。示意图如下。Hadoop集群信息：Cher BStSR 注名FumeNodclSOM1 a g*a Bocrt aaemBootProcM*HadoopOrwmrOverview ,hadoopl SOOQ (active)Started:lea 25CH AWJM4-T-31W:CZ by roe, froa OMotmCl，0O：Cl，0O：O da10Mhr*2b4framy wM 1H.W “ 6 th。iMfy. U iMMty u B.一 !* lMiy U04 41.1A , “ 4X3 0 CoamX J B” ”. Im Rmi e Immi/ “ XX)CfirBr4 Cecity：&6B T9Spark集群信息:teacher更改密* 注销T H血谢 ume*wdelg Spm*瑞性Spark3如 Boot Proem Boot AccessAppllCJtOl IDNinw CoresMemory pt Nod.DurationURL： spark haooopl 7077RCSTURL ip.V hddoopi 一Wortctn: 8Cores: 60 Total. 0 UsedMtmoy: 160 0 G8Total 00BUMApphcations: 0 Runrw