Spark编程基础及项目实践章节练习题项目4+答案.docx
-
资源ID：76722369
资源大小：22.91KB
- 资源格式： DOCX
下载积分：5金币
快捷下载
会员登录下载
微信登录下载
三方登录下载：
微信扫一扫登录
|
友情提示
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。
5、试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓。
|
Spark编程基础及项目实践章节练习题项目4+答案.docx
Spark编程基础及项目实践章节练习题项目4+答案习题41. 选择题（1） 常用创建RDD的方法有哪些？（ ABC ）A. makeRDD B. parallelize C. textfile D. testfile（2）下面哪个不是RDD的特点（ C ）。A. 可分区 B. 可序列化 C. 可修改 D. 可持久化（3）下面哪一种全部是转化操作？（ C ）A. map、take、reduceByKey B. map、filter、collect C. map、zip、 reduceByKey D. map、join、take（4）下面哪种按键操作的方法返回值可以与输入类型不同？（ B ）A. reduceByKey B.combineByKey C. sortByKey D.groupByKey（5）使用saveAsTextFile存储数据到HDFS，要求数据类型为什么？（ D ）A. List B.Array C. Seq D.RDD2.操作题现有数据文件words.txt如图4-8所示，文件中包含了多行句子，现在要求对文档中的单词计数，并把单词计数超过3的结果存储到HDFS上。图4-8 words.txt (1)通过textfile的方法读取数据。(2)通过flatMap将字符串切分成单词。(3)通过map将单词转化为（单词,1）的形式。(4)通过reduceByKey将同一个单词的所有值相加。(5)通过filter将单词计数大于3的结果过滤出来。(6)通过saveAsTextFile将结果写入到HDFS。答案：(1) val test = sc.textFile("/user/root/words.txt")(2) test.flatMap(x=>x.split(" ").collect(3) test.map(lambda word : (word,1)(4) test1 = test.reduceByKey(lambda a,b :a+b)(5) test2=test1.filter(x=>x._2>1).collect(6) test2. saveAsTextFile("/user/data")80
