2023年大数据scala编程实验.docx

《2023年大数据scala编程实验.docx》由会员分享，可在线阅读，更多相关《2023年大数据scala编程实验.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2023年大数据scala编程实验下面是我为大家整理的大数据scala编程实验,供大家参考。 Spark 编程基础实验报告 题目：scala 编程初级实验 姓名：学号：日期：2023/4/12 实验环境：操作系统：Centos7.0 Spark 版本：2.1.0 实验内容与完成情况：1.统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 IdgenderMathEnglish Physics301610male 806478 301611 female 658758. 给定任何一个

2、如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按男女同学分开， 分别统计各门课程的平均成绩，最低成绩，和最高成绩。测试样例 1 如下：IdgenderMathEnglish Physics301610male 806478 301611female 658758 301612female 447177 301613female 667191 301614female 7071 100 301615male 727772 301616female 738175 301617female 697775 30161

3、8male 736165 301619male 746968 301620male 766276 301621male 736991 301622male 556961301623male 505875 301624female 638393 301625male 7254 100 301626male 766673 301627male 828779 301628female 628054 301629male 897772完成情况截图：出现的问题： 因为是第一次用 scala 语言进行编程，虽然和 java 有着很大的相似性，但是具体的函数名以及具体的语法使用还是不明白，去看了官方的参考代

4、码后看懂了他的思路后对照着写，我最开始的用的 java 的类挨个进行功能编写，虽然也可以得出最后答案但是基本上没有答案的这么快捷，但是参考答案用的放发比较难懂，花了一些时间去读懂领悟，比如参考答案里的切词方法是直接用的 head 取学号和课程名，而我最开始用的 distinct 进行过滤筛选，以及 tail 将这两个值返回到容器中，以及之后的 zip，感觉 scala 更快捷但是也不是很易读懂，看了参考代码后发现自己在新语言的掌握严重不足，在课下会花更多的时间来学习 scala 解决方案：在出现的问题后已给出解决方案 总结： 在 spark 编程中，scala 语言有点像 java 和 C 的结合，有着 java 的大量易扩充的函数功能，大大缩减了代码长度，但是在底层的原理以及概念上还没有理解，仅仅是可以看懂代码但是自己的编写还是会有一定的难度，争取在大量的实践之后可以做到更加熟练于心。