Spark编程基础及项目实践章节练习题项目5+答案.docx
-
资源ID：76723105
资源大小：94.99KB
全文页数：2页
- 资源格式： DOCX
下载积分：5金币
快捷下载
会员登录下载
微信登录下载
三方登录下载：
微信扫一扫登录
|
友情提示
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。
5、试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓。
|
Spark编程基础及项目实践章节练习题项目5+答案.docx
Spark编程基础及项目实践章节练习题项目5+答案习题51. 选择题（1） Spark SQL可以处理数据源包括哪些？（ D ）A. Hive表 B. 数据文件、Hive表 C. 数据文件、Hive表、RDD D. 数据文件、Hive表、RDD、外部数据库（2）下列说法正确的是（ C ）。A. Spark SQL的前身是Hive B. DataFrame其实就是RDDC. HiveContext继承了SqlContext D. HiveContext只支持SQL语法解析器（3）如何查看DataFrame对象的前10条记录？（ C ）A. df.show() B. df.show(false) C. df.show(10) D. df.collect()（4）DataFrame查询指定字段数据信息的方法有哪些？（ B ）selectselectExprcolapplyA. B. C. D. （5）DataFrame的groupBy方法返回的结果是什么类型？（ D ）A. DataFrame B.ColumnC.GroupedData D.RDD2.操作题某航空公司积累了大量的会员档案信息和其乘坐航班记录。其中包括了会员卡号、入会时间、性别、年龄、会员卡级别、工作地城市、工作地所在省份、积分、飞行千米数、飞行次数、飞行时间、平均折扣率等信息。如图5-43所示。图5-43 航空公司信息数据 (1)导入数据表。(2)统计SUM_YR_1、SEG_KM_SUM字段的空值记录数，保存到null_count表。(3)统计SUM_YR_1、SEG_KM_SUM字段的最小值，保存到min_count表。(4)统计SUM_YR_1、SEG_KM_SUM字段的最大值，保存到max_count表。(5)计算SUM_YR_1、SEG_KM_SUM字段的平均值。答案：(1) val class Person(SUM_YR_1:int, SEG_KM_SUM:int)val data = sc.textFile("/user/root/test.txt")val person=data.map(p=>Person(p(0),p(1).trim.toInt).toDF()(2) df.select("SUM_YR_1").count("null")resultDF.write.jdbc("jdbc:mysql:/192.168.1.150:3306/spark","null_countt")df.select("SEG_KM_SUM").count("null")resultDF.write.jdbc("jdbc:mysql:/192.168.1.150:3306/spark","null_countt")(3) df.select("SUM_YR_1").min()resultDF.write.jdbc("jdbc:mysql:/192.168.1.150:3306/spark","min_count")df.select("SEG_KM_SUM"). min()resultDF.write.jdbc("jdbc:mysql:/192.168.1.150:3306/spark","min_count")(4) df.select("SUM_YR_1").max()resultDF.write.jdbc("jdbc:mysql:/192.168.1.150:3306/spark","max_count")df.select("SEG_KM_SUM"). max()resultDF.write.jdbc("jdbc:mysql:/192.168.1.150:3306/spark","max_count")(5) df.select("SUM_YR_1").avg()df.select("SEG_KM_SUM"). avg()95
