Spark学习---统计文件单词出现次数

上传：wushashasha 浏览： 56 推荐： 0 文件：ZIP 大小：12.74KB 上传时间：2019-05-25 13:57:45 版权申诉

上一节我们简单介绍了RDD中转化和执行操作的用法，本节将通过一个具体的示例来加深对RDD的认识。一.需求统计本地文件中单词出现次数二.操作流程1.读取外部文件创建JavaRDD;2.通过flatMap转化操作切分字符串，获取单词新JavaRDD;3.通过mapToPair，以key为单词，value统一为1的键值JavaPairRDD;4.通过reduceByKey，累计叠加每个key，统计单词出现次数；三.代码实现四.下载代码