spark中使用partitioner的实例代码

本篇内容主要讲解"spark中使用partitioner的实例代码"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"spark中使用partitioner的实例代码"吧!

import org.apache.spark._import SparkContext._import org.apache.spark.SparkConfimport java.util.Dateimport java.text.SimpleDateFormatimport org.apache.hadoop.io.Textimport org.apache.hadoop.mapred.TextOutputFormatimport org.apache.spark.Partitionerobject partitioner {   def main(args: Array[String]): Unit = {        val time = new SimpleDateFormat("MMddHHmm").format(new Date());    val sparkConf =  new SparkConf().setAppName("wordcount_"+time)        sparkConf.set("mapreduce.framework.name", "yarn");    val sc =new SparkContext(sparkConf)        val textFile = sc.textFile(        "hdfs://namenode:9000/data/mapreduce/chuping/test_in_1/new5", 1).cache()        val result = textFile.flatMap (line => line.split("\t") ).    map (word => (word,1)).reduceByKey(new testPartitioner, _+_)        result.saveAsTextFile("hdfs://namenode:9000/data/zk/test/partitioner"+time)    sc.stop()  }}class testPartitioner extends Partitioner{          val numPartitions = 3             def getPartition(key: Any)=1   指定到第几个reduce}

这里的程序只是一个测试的程序，使用的也是一个count而已，无法体现partitioner的实际作用，但是在实际生产中，partitioner的运用比比皆是

到此，相信大家对"spark中使用partitioner的实例代码"有了更深的了解，不妨来实际操作一番吧！这里是网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！