GZ-2017023 大数据技术与应用-精品文档资料整理.docx

《GZ-2017023 大数据技术与应用-精品文档资料整理.docx》由会员分享，可在线阅读，更多相关《GZ-2017023 大数据技术与应用-精品文档资料整理.docx（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2017年全国职业院校技能大赛竞赛项目方案申报书赛项名称： 大数据技术与应用 赛项组别： 中职组 高职组R专业大类： 电子信息大类 方案设计专家组组长： 吴升刚 专家组组长手机： 18615612916 方案申报单位（盖章）： 中国职业技术教育学会信息化工作委员会 方案申报负责人：高林 联系手机：13601006785邮箱号码：gaolin通讯地址：北京北四环东路97号 北京联合大学邮政编码：100101申报日期：2016.9.1.2017年全国职业院校技能大赛竞赛项目方案一、赛项名称（一）赛项名称大数据技术与应用。（二）压题彩照（三）赛项归属产业类型电子信息产业-战略新兴产业。（四）赛项归属

2、专业大类赛项归属高职610000电子信息大类。大数据技术与应用赛项参赛选手主要专业如下：专业代码专业名称610215大数据技术与应用610201计算机应用技术610214电子商务技术610205软件技术610206软件与信息服务610213云计算技术与应用610302移动通信技术630802移动商务说明：以上专业代码来自于普通高等学校高等职业教育专科（专业）目录（2015年）和普通高等学校高等职业教育（专科）专业目录（2016年增补专业）。二、赛项申报专家组姓名单位专业职务/职称年龄手机号码邮箱吴升刚山东商业职业技术学院计算机电信学院院长/教授4715053182118wsgsxw万国德北京四

3、合天地科技有限公司计算机总经理/高工4213001164581wanguode吴雷知北京泰克贝思科技股份有限公司计算机总工/高工391305135912413051359124汪洪贵州轻工职业技术学院计算机院长/教授5318685416399whgzqy于京北京电子科技职业学院计算机院长/教授451370127067013701270670叶曲炜哈尔滨广厦学院计算机院长/教授5313501225307136744308张海建北京信息职业技术学院信息中心计算机主任/副教授3813810150848Zhanghj杨功元新疆农业职业技术学院计算机副院长/教授431300960288513009602

4、885王小刚常州信息职业技术学院软件技术院长/教授4813338190880wxiaog魏松北京信息职业技术学院信号与信息处理副院长/副教授4618910055659weis杨智勇重庆工程职业技术学院计算机院长/副教授3715923026136370721991张平安深圳信息职业技术学院计算机应用院长/教授5013823396120zhangpa钱跃良中国科学院计算机技术研究所大数据及智能技术研究部计算机总工/高工5613901067294ylqian王峰阿里云计算有限公司计算机科学与技术大数据产品经理/高工3313585686667112960718三、赛项目的信息社会最重要的特征之一，就是

5、每时每刻都在产生着海量的数据大数据。海量的生产数据、处理数据和应用数据，将伴随着物联网、移动互联网、数字家庭、社会化网络等新一代信息技术应用不断增长。未来在智慧城市、电信、金融、卫生、电子商务以及电子政务等领域将是大数据技术与应用的最佳行业沃土，对大数据的处理和分析成为新一代信息技术的融合发展的核心支撑。国家总理李克强在政府工作报告中提出，制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展。“中国制造2025”是中国制造业未来10年设计顶层规划和路线图，它是信息技术与制造业的深度融合，是以制造业数字化、网络化、智能化

6、为核心，叠加新能源、新材料等方面的突破而引发的新一轮变革。“互联网+”、“中国制造2025”进一步强化了市场对嵌入式应用开发、大数据处理等方面的人才需求，对大数据技术与应用专业改革具有重要意义。大数据是由数量巨大、结构复杂、类型众多的数据构成的巨量数据集合。大数据的采集、清洗、存储、查找、传输、分享、分析及可视化等操作都超越了现有关系数据库与数据处理软件的承载能力。Google等一流企业为存储和计算所需海量互联网资源而开发了分布文件系统GFS、数据库BigTable和算法MapReduce，并公开成果。作为Google类似技术替代者的开源软件Hadoop，以及建立其上的软件逐渐成为大数据云存储

7、与处理技术的主流。本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的职业需求，覆盖大数据行业典型工作流程岗位，包括大数据平台与相关工具配置、数据抓取与清洗、数据处理与计算、数据分析与可视化展现等。开发类知识技能的考核围绕对Hadoop集群的安装部署、管理及MapReduce计算，数据抓取爬虫工具的配置与实际抓取数据的整理工作，并包含大数据处理相关算法应用与软件工具运用。赛项选取典型的大数据真实业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和方案架构能力、运用Hadoop及相关工具软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能

8、，努力为中国大数据应用产业发展储备及输送新鲜血液。以大数据应用技能大赛，搭建校企合作的平台，提升高职电子信息类及相关专业毕业生能力素质，满足企业用人需求，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，促进专业教学建设和教学改革。四、赛项设计原则（一）坚持公开、公平、公正赛项方案的设计、赛项过程的组织、赛项结果的评判都本着“公开、公平、公正”的原则，由赛项专家组、赛项裁判组提前制定详细的赛项组织流程、赛项评判细则，整个竞赛过程透明公开，实时发布竞赛进程和成绩。（二）赛项关联职业岗位

9、面广、人才需求量大、职业院校开设专业点多大数据是近几年火热起来并逐渐走向落地的技术。信息管理、数据处理、智能制造、电子商务、金融财务、物联网、电子政务等专业领域都大量融入与渗透有关大数据技术及应用内涵，引发复合型技术技能型人才培养的新需求。因此，大数据应用方向的人才需求具有关联职业岗位面广、人才需求量大的特征。由于缺口较大，造成了企业愿意出高价邀请加入，由此便形成了人才稀缺且昂贵的局面。目前高职院校普遍开设“大数据技术与应用”相关课程。计算机应用专业、电子商务技术、软件与信息服务、移动商务等相关专业的学生，经过短期培训后均可参与本项竞赛。本赛项的设置和成功举办，可以从一定程度上，检验高职院校大

10、数据技术与应用及相关专业的教学水平、人才培养方式，帮助院校加强大数据应用等方向的人才培养，缩小人才培养与行业需求差距。（三）竞赛内容对应相关职业岗位或岗位群、体现专业核心能力与核心知识、涵盖丰富的专业知识与专业技能点本赛项设计基于行业及产业主流应用，符合大数据应用产业发展及技术应用实际情况。比赛设置采用团体赛方式，重点考察参赛队员的团队意识、项目组织管理能力等；竞赛采用的大数据通过与可生产大数据的公司（如：阿里云、搜狗等）合作，获取脱密后的通用数据；竞赛内容以行业典型工作任务为核心，针对相关岗位群体发展趋势和人才能力要求，充分体现专业核心能力和核心知识，涵盖丰富的专业知识和专业技能点，能够从专

11、业定位、课程设置、授课模式等方面促进本专业以及相关专业建设。赛项以满足大数据及相关行业的应用开发商、应用服务商、系统集成商、创新型企业的岗位技能要求为目标，导入了成熟且实用的大数据技术与应用技术及技能，能有效促进产教融合、实践教学、工学结合。（四）竞赛平台成熟。根据行业特点，赛项选择相对先进、通用性强、社会保有量高的设备与软件赛项选用的竞赛平台均已在全国多所职业院校推广应用。竞赛平台就是实训平台，除了可以支撑竞赛所需的技术和场景，还可在赛后直接转化为实训平台，满足计算机应用技术、大数据技术与应用、云计算及网络技术、软件技术应用等相关专业实训教学需要。平台采用业界主流大数据处理技术，保证与生态内

12、各组件之间的平滑集成与互联互通，对外提供标准统一API接口，具有故障自愈的能力，可以最大限度地支持系统的正常运行。平台采用开放的技术和国际标准，可以根据未来业务的增长和变化平滑扩充和升级，最大程度地减少对现有平台的调整。系统运行稳定可靠，部署快捷，在院校运行期间未发生任何设备质量和安全事故，未发生任何形式的投诉和仲裁现象。五、赛项方案的特色与创新点赛项设计重点突出以下几个方面的特征：1、体现行业应用特点赛项命题和评分标准依据大数据技术与应用相关岗位的能力模型，选取电子商务类企业数据中心的典型应用场景。要求参赛选手充分理解典型业务应用环境，使用大数据应用相关技术和规定工具软件，完成典型工作任务；

13、竞赛过程贴近大数据技术真实工作过程、工作结果，从需求到具体实施都体现行业的真正业务环境和大数据应用场景。2、面向岗位技能赛项联合阿里云、中国科学院等国际知名企业，按照其大数据相关岗位实际工作过程进行设计，竞赛过程覆盖大数据的收集、清理、分析、呈现、应用等标准工作过程，赛项内容涵盖企业数据应用及分析领域工作岗位的主要岗位技能，所使用的软件和工作方法符合当前大数据公司对于员工的实际岗位技能要求。参赛选手通过训练比赛，能够熟悉Hadoop等大数据典型工具的配置方法、原理和使用、大数据采集与清洗的基本方法、大数据分析结果的可视化展示技术、大数据架构设计思路与方法、大数据项目的开展步骤及项目执行方法等技

14、术，为有效提高职院校在大数据技术与应用领域的人才培养水平提供依据。3、体现先进技术本方案设计从整体架构、系统平台、应用发布，技能培养目标等方面经过充分论证，赛项充分体现以Hadoop架构为核心的大数据技术应用，采用国际主流先进技术，符合大数据行业相关技术标准和工作规范，直接与市场同步，实现教学应用和产业前沿技术水平的对接。4、赛项设备利用赛项所选择使用的竞赛平台，基于大数据主流技术开发完成，是一个教学与训练为一体的系统。该系统既可以比赛使用，也可在赛后直接转化成学校的实训教学使用设备，满足教学、实训使用，可以帮助学校构建一个小型的大数据应用实训平台，直接用于日常专业课实训教学。5、赛项设置合理

15、赛项以高职院校大数据相关专业现有课程、知识体系作为基础支撑，适应行业发展需要，结合新技术，完成赛项设计和实施。结合本赛项的教学资源转化工作，可以将竞赛内容转化为综合人才培养解决方案，实现对各院校相关专业现有基础资源的提升。六、竞赛内容简介赛项名称：大数据技术与应用（Big Data Technology And Application）赛项简介：赛项以大数据为核心内容和工作基础，在互联网、云计算、大数据应用的产业背景下，基于真实项目的工作过程，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据分析以及内存计算技术的应用能力，选拔高素质技能人才。参赛选手需要针对竞赛选题，设计构建业务逻

16、辑模型，形成业务设计文档，考察选手的业务分析能力；基于大数据实训平台，综合运用数据抓取爬虫工具，数据抽取工具Sqoop/Flume/Kafka、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、内存计算Spark、流式计算Storm、数据挖掘方法库Mahout、数据仓库Hive、深度学习、Java/Python等开发语言工具和技术，匹配和连接数据源，完成大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现；依据项目应用需求和分析结果，完成标准化的大数据分析报告。本赛项是对参赛选手大数据知识和应用能力的综合检验，在一定程度上促进了高职院校相关专业及课

17、程建设，促进学生综合应用能力和职业素质的同步提高，提升毕业生的就业竞争力。The competition use big data as the core content and basis for the work, in the industry background of Internet, cloud computing, big data applications, based on the work process of a real project, emphasis on the players massively parallel data analysis and memo

18、ry computing technology applications ability in the Hadoop platform environment, select high-quality skilled person.The players need to design business architecture, logic model and form the business design documentation based on the competition topics, investigate players business analytical skills

19、; match and link data sources, complete big data collection, extraction, cleaning, transformation, analysis, mining operations, generate analysis results and achieve visual presentation in the integrated use of data catch crawler tool, data extraction tools Sqoop / Flume / Kafka, a distributed stora

20、ge system HDFS, distributed computing framework MapReduce / Yarn, memory computing Spark, stream computing Storm, data mining library Mahout, data warehouse Hive, depth learning, Java/Python and other development languages tools and techniques based on big data training platform; according to the pr

21、oject application requirements and analysis, complete standardization of big data analysis reports.This competition is a integrated test in the Big Data knowledge and ability of the players, to a certain extent, it promoted the Higher Vocational Colleges relevant professional and curriculum developm

22、ent, promoted students comprehensive ability and professionalism improve synchronization, enhanced the competitiveness of graduates employment.七、竞赛方式参考2016年全国职业院校技能大赛参赛报名办法的相关要求，确定本赛项的竞赛方式。本赛项是团体赛，以院校为单位组队参赛，不得跨校组队。每个参赛队由3名参赛选手组成，其中队长1名，可配2名指导教师。选手必须是2017年高职类全日制、五年制高职4-5年级在籍学生，性别与年级不限，年龄在25周岁以下。本赛项以

23、省、自治区、直辖市为单位组织报名参赛。报名通过全国职业院校技能大赛网络报名系统统一进行。鼓励各省组织省赛。本届比赛拟邀请境外代表队参赛。赛项采用统一规格的硬件、软件和辅助工具，确保竞赛平台统一。八、竞赛时间安排与流程竞赛期间各项日程与流程安排如下表。日期时 间内 容第一日8:00-14:00报到14:00-15:00领队会、赛前说明15:00-16:30领队抽取场次签及检录顺序号16:00-17:00选手熟悉赛场第二日8:00-8:30开赛仪式8:50-9:20竞赛赛场检录、参赛编号抽签、产生赛位号9:20-9:30题目发放、宣布竞赛注意事项、选手进入赛位、检查赛位设备及耗材9:30-14:3

24、0竞赛选手完成竞赛任务16:30-20:30竞赛成绩评定，进行成绩汇总。第三日8:30-9:00宣布竞赛成绩9:00-10:00闭赛与颁奖仪式10:00结束九、竞赛试题竞赛公开样题参考如下：样题一：搜狗搜索用户行为分析1、赛题背景用户行为分析主要是研究用户在互联网上的行为数据，如用户在访问某个电商网站时，用户浏览、点击、购买、评价某种商品的行为；搜索引擎日志系统所记录的用户在搜索引擎上的检索行为。通过对用户行为数据进行分析，可以让企业更加详细、清楚地了解用户的行为习惯，从而为企业的经营提供支持。本赛题为中文搜索引擎用户行为分析，对为期一个月的真实中文搜索引擎网络日志进行研究，利用大数据技术分析

25、中文搜索引擎用户行为特点，更好的理解中文搜索用户的检索行为。2、数据集描述数据大小：4.34G数据范围：搜索引擎查询日志包括约1个月(2008年6月)Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。数据格式：访问时间t用户IDt查询词t该URL在返回结果中的排名t用户点击的顺序号t用户点击的URL其中，用户ID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值，即同一次使用浏览器输入的不同查询对应同一个用户ID。数据样例：3、任务说明参赛选手需利用提供的大数据平台功能完成如下任务：第一部分 数据采集（20分）配置平台提供的爬虫功能，根据给定的大赛平台模拟在线音

26、乐服务web网页，采集数据，配置爬虫数据萃取表达式，把采集到的html内容提取出xml格式，xml格式要求包括所有的歌手，歌曲名称，歌曲年代，类型。每个歌手一个xml文件。包括歌手的所有歌曲。注：本部分仅考核参赛选手数据采集技能，为避免赛题错误传递，本部分结果数据不作为后续任务输入，不影响后续任务执行。第二部分 数据预处理（10分）原始数据存放在HDFS分布式文件系统，请开发MapReduce或Spark代码进行以下数据预处理。原始数据编码格式为gb18030，解压之后可能会出现中文乱码，请修改数据文件的编码格式，解决数据乱码问题。原始数据文件中，该URL在返回结果中的排名和用户点击的顺序号之

27、间的分隔符为空格，请将数据分隔符统一为按 “t”分隔第三部分 基于Hive构建搜索日志数据仓库（10分）创建Hive数据表，并将预处理之后的数据导入，可进行优化处理。第四部分 多维数据分析（35分）1. 条数统计1) 统计非空查询条数（关键词不为空的查询次数，即有效查询次数）2) 统计独立UID（用户ID）总数，以了解用户总数3) 查询一天内各小时的访问量，以制定关于时间的搜索服务。输出参考格式为：小时，每小时查询次数00，0点的查询次数01，1点的查询次数23，23点的查询次数2. 关键词分析1) 分析所有用户查询关键词的平均长度（有的查询只有1个关键词，有的查询可能有多个关键词），以了解用

28、户的查询习惯2) 对搜索关键词的热度（查询次数）进行排名，取前10个关键词，以了解网民最关心的话题输出格式为：关键词，查询次数关键词1，关键词1的查询次数关键词2，关键词2的查询次数.关键词10，关键词10的查询次数3. 用户查询次数分析1) 用户查询次数分布输出格式为：查询次数，用户数1，查询1次的用户数2，查询2次的用户数.N，查询N次的用户数关键词10，关键词10的查询次数2) 所有用户的平均查询次数3) 查询次数大于3次的用户总数4. 用户行为分析1) 点击次数与rank之间的关系分析输出格式为：rank排名，被点击的次数（取前50的位置）1，排名第1的URL被点击的次数2，排名第2的

29、URL被点击的次数.50，排名第50的URL被点击的次数2) 直接输入URL的查询中，点击的结果就是用户输入的URL网址的占比3) 用户使用高级检索的比例查询中含有、and、or等符号以运用高级检索功能进行检索的查询占的比例。第五部分 文档输出（10分）根据以上内容，输出详细的说明文档：需包含每个任务的代码或SQL语句；代码或SQL语句运行的时间及结果的截图；每个任务输出的图表展现（形式不定）。第六部分 可视化展示（10分）使用平台提供的API,根据以上任务输出结果，用Java/.Net/Python等开发语言，完成一天内各小时的访问量排名结果柱状图可视化展示程序的开发。样题二：全网新闻文本分

30、类1、赛题背景随着互联网的持续发展，网络媒体迅速壮大并逐渐渗透到人们工作生活的各个方面。由于具备开放、自由及高效等优势，网络媒体的影响力越来越大，已成为我国新闻传播事业的重要组成部分。网络新闻的极大丰富给实时掌握特定领域的新闻热点带来了挑战。因此，设计一个专门化、自动化的网络新闻文本分类系统来实现网络媒体中海量信息的自动分类，对于提高新闻热点分析的效率具有重要的现实意义。而网络新闻文本分类系统的核心便是新闻文本分类算法。本赛题通过全网的新闻文本数据，研究分布式环境下的文本分类算法，提高文本分类的效率。2、数据集描述数据大小：4.5G数据范围：若干新闻站点2012年6月7月期间国内，国际，体育，

31、社会，娱乐等18个频道的新闻数据，提供URL和正文信息。同时提供类别标记说明(URL到类别的映射关系）文档。数据格式：页面URL页面ID页面标题页面内容数据样例：3、任务说明以下任务均在大数据平台下进行，从数据预处理到模型评估均需用MapReduce或Spark程序开发。第一部分 数据采集（20分）配置平台提供的爬虫功能，根据给定的大赛平台模拟在线音乐服务web网页，采集数据，配置爬虫数据萃取表达式，把采集到的html内容提取出xml格式，xml格式要求包括所有的歌手，歌曲名称，歌曲年代，类型。每个歌手一个xml文件。包括歌手的所有歌曲。注：本部分仅考核参赛选手数据采集技能，为避免赛题错误传递

32、，本部分结果数据不作为后续任务输入，不影响后续任务执行。第二部分 数据预处理（10分）原始数据存放在HDFS分布式文件系统，请开发MapReduce或Spark代码进行以下数据预处理。从原始数据文件提取新闻正文文本和类别标签：1) 对所有新闻文本进行分词2) 对分词后的新闻文本进行停用词过滤第三部分 文本向量化（20分）1) 构建数据字典对预处理后的新闻文本进行特征词提取，以构建数据字典。2)根据提取的特征词建立文本向量例如：100篇文档 ，提取的数据字典总共9999个词汇，就是建立一个100行9999列的矩阵，每一行对应一片文档，每一列对应一个词，矩阵的值可以是tf、tfidf等。如果维数过

33、高，可进行降维处理。3）数据集划分：按比例将数据划分为训练集和测试集，比例自定。第四部分 分类模型训练（10分）对向量化后的训练集建立分类模型，自行选择分类算法。第五部分 预测与评估（10分）1) 测试集根据训练得到的模型文件，进行分类。2) 对比测试集分类结果和真实类别标签，得到模型效果指标。本赛题通过计算模型结果的F1-Score作为量化评价指标。具体来说，模型的F1-Score的计算方法如下：其中，P是准确率， R是召回率。第六部分 文档输出（15分）文档的内容包括：1)模型建立以及预测过程和结果的详细描述文档；2)程序代码；第七部分 可视化展示（10分）使用平台提供的API,根据以上任

34、务输出结果，用Java/.Net/Python等开发语言，完成分类结果图可视化展示程序的开发。十、评分标准制定原则、评分方法、评分细则参照2016年全国职业院校技能大赛成绩管理办法的相关要求，结合赛项自身特点，编制赛项评分方法和评分细则。（一）评分标准制定原则赛项评分采用“赛项结果评分”方法，始终贯彻落实大赛一贯坚持的公平、公正和公开原则。赛项评分依据选手固化在实操任务中的成果，并通过评分裁判的比赛结果再现的方法评分，兼顾团队协作精神和职业素养综合评定。赛项最终按总评分得分高低，确定奖项归属。赛项合作企业不直接或者间接地参与赛项评分。参与大赛赛项成绩管理的组织机构包括：裁判组、监督组和仲裁组等

35、。（1）裁判组裁判组实行“裁判长负责制”，设裁判长1名，全面负责赛项的裁判与管理工作。裁判员根据比赛工作需要分为检录裁判、加密裁判、现场裁判和评分裁判。检录裁判负责对参赛队伍（选手）进行点名登记、身份核对等工作；加密裁判负责组织参赛队伍（选手）抽签，并对参赛队伍（选手）信息进行加密、解密；现场裁判按规定做好赛场记录，维护赛场纪律。检录裁判、加密裁判和现场裁判不参与评分。评分裁判负责对参赛队伍（选手）的技能展示、操作规范和竞赛作品等按赛项评分标准进行评定。在比赛进行的过程中评分裁判不到比赛现场，参赛选手退出赛场2小时后，评分裁判进入现场对各工位进行评分。赛项评分标准力争客观，各评分得分点可量化；

36、评分过程全程可追溯。（2）监督组监督组负责对裁判组的工作进行全程监督，并对竞赛成绩抽检复核。（3）仲裁组仲裁组负责接受由参赛队领队提出的对裁判结果的申诉，组织复议并及时反馈复议结果。（二）评分方法（1）本赛项根据竞赛结果评分。（2）在赛事裁判委员会领导下，赛项裁判组负责赛项成绩评定工作，并上报赛事总工作组，由赛事总工作组对比赛结果作最终裁定。（3）采取分步得分、累计总分的计分方式，分别计算各子项得分。按规定比例计入总分。各竞赛项目和竞赛总分均按照百分制计分。（4）在竞赛时段，参赛选手如出现扰乱赛场秩序、干扰裁判和监考正常工作等不文明行为的，由专项裁判长扣减该专项相应分数，情节严重的取消比赛资格

37、，该专项成绩为0分。参赛选手有作弊行为的，取消比赛资格，该专项成绩为0分。（5）参赛选手不得在竞赛结果上标注含有本参赛队信息的记号，如有发现，取消奖项评比资格。为保证裁判公平、公正，在每个现场评分环节，均由赛项执委会组织工作人员对参赛作品进行二次加密。（三）评分细则竞赛评分由主观分和客观分两部分构成，总分100分。客观分得分由比赛过程及比赛完成情况确定，占总分80%以上（其中样题一为85%）；主观分由参赛人员设计文档、数据分析报告、职业素养等得分确定，占总分低于20%（其中样题一为15%）。其中，职业素养主要是对参赛人员团队合作、操作规范等方面的评判（占总分5%）。样题一评分细则：一级指标考核

38、知识点和技能点分值客观分大数据采集1.爬虫程序编写并且运行成功成功52.爬取数据的维度和内容符合赛题要求符合53.爬取数据的大小不小于赛题要求的大小大于等于54.按照赛题要求，正确解析数据正确5大数据预处理1.新建项目，导入大数据开发包成功2不成功02.编写数据处理代码正确2不正确03.将代码打包上传到大数据平台成功2不成功04.提交运行数据预处理代码成功2不成功05.MapReduce或Spark的优化措施有优化2无优化0Hive数据库建设1.创建数据库和数据表数据表结构正确并成功创建4数据表结构不正确或创建不成功02.导入预处理后的数据于新建的表中导入成功4导入失败03.Hive调优有优化

39、2无优化0数据查询与分析1. 统计非空查询条数完成3未完成02.统计独立UID总数完成3未完成03.查询一天内各小时的访问量完成4未完成04.分析所有用户查询关键词的平均长度完成2未完成05.对搜索关键词的热度进行排名（前10）完成3未完成06.用户查询次数分布完成3未完成07.所有用户的平均查询次数完成3未完成08.查询次数大于3次的用户总数完成4未完成09.点击次数与rank之间的关系分析完成3未完成010.直接输入URL的查询中，点击的结果就是用户输入的URL网址的占比完成3未完成011.用户使用高级检索的比例完成4未完成0数据可视化展现1.将运算得到的结果数据导入到MySQL数据库中成

40、功32.使用编程语言编写SQL将运算结果数据从MySQL数据库中查出正确33. 将MySQL中查出的数据展现在HTML报表中成功4主观分编写提交数据分析报告，按照文档规范编写文档，贴近业务需求等10团队分工明确合理、操作规范、文明竞赛5样题二评分细则：一级指标考核知识点和技能点分值客观分大数据采集1.爬虫程序编写并且运行成功成功52.爬取数据的维度和内容符合赛题要求符合53.爬取数据的大小不小于赛题要求的大小大于等于54.按照赛题要求，正确解析数据正确5数据预处理1. 从原始数据文件提取新闻正文文本和类别标签完成3未完成02. 对所有新闻文本进行分词完成2未完成03. 对分词后的新闻文本进行停

41、用词过滤完成3未完成04.MapReduce或Spark的优化措施有优化2无优化0文本向量化1. 对预处理后的新闻文本进行特征词提取，以构建数据字典完成5未完成02. 根据提取的特征词建立文本向量完成10未完成03. 按比例将数据划分为训练集和测试集完成5未完成0分类模型训练与预测评估1. 对向量化后的训练集建立分类模型完成10未完成02. 测试集根据训练得到的模型文件，进行分类完成5未完成03. 对比测试集分类结果和真实类别标签，得到模型效果指标完成2未完成04.模型最终效果好3一般2差1未完成0数据可视化展现1.将运算得到的结果数据导入到MySQL数据库中成功32.使用编程语言编写SQL将

42、运算结果数据从MySQL数据库中查出正确33. 将从MySQL中查出的数据展现在HTML报表中成功4主观分编写提交数据分析报告，按照文档规范编写文档，贴近业务需求等10提交完整无误的程序代码5团队分工明确合理、操作规范、文明竞赛5十一、奖项设置参照执行2016年全国职业院校技能大赛奖惩办法的有关规定，各赛项设参赛选手团体或个人一、二、三等奖。以赛项实际参赛队总数为基数，一、二、三等奖获奖比例分别为10%、20%、30%（小数点后四舍五入）。获得一等奖的参赛队伍的指导教师获“优秀指导教师奖”。十二、技术规范参照2016年全国职业院校技能大赛赛项规程编制要求。（一）职业技术标准参赛选手应当具备从事

43、大数据技术与应用相关岗位所需的知识和技能，并能结合产品和市场分析、安全和风险分析以及商业智能领域的应用特点，满足企业生产实际需求。（二）技术规范1、基础标准GB/T 11457-2006：信息技术、软件工程术语 GB8566-88：计算机软件开发规范GB/T 12991-2008：信息技术数据库语言SQL第1部分：框架20120567-T-469：信息技术云数据存储和管理第1部分：总则20120568-T-469：信息技术云数据存储和管理第2部分：基于对象的云存储应用接口GB/T 21025-2007：XML使用指南GB/T 20009-2005：信息安全技术数据库管理系统安全评估准则已发布G

44、B/T 20273-2006：信息安全技术数据库管理系统安全技术要求20100383-T-469：信息技术安全技术信息安全管理体系实施指南2、软件开发标准GB/T 8566 -2001 信息技术 软件生存周期过程 GB/T 15853 -1995 软件支持环境 GB/T 14079 -1993 软件维护指南GB/T 17544-1998信息技术 软件包 质量要求和测试十三、建议使用的比赛器材、技术平台和场地要求（一）比赛器材、技术平台1、个人计算机基本配置要求如下：显示屏：分辨率1280x800CPU：Intel赛扬J1900 四核 2.0Ghz主频内存：标配4GB RAM以上硬盘：100GB以上接口：百兆网卡、USB2、大数据处理支撑平台一套，含应用服务器集群。方案一：拟采用北京四合天地科技有限公司研发的大数据实训管理