MapReduce默认操作代码,PHP代码库,德仔网

代码语言

代码分类

【PHP】 MapReduce默认操作

作者:liangbo / 发布于2014/12/19/ 579


	package hadoop.mapreduce;
	
	import org.apache.hadoop.conf.Configuration;
	import org.apache.hadoop.fs.Path;
	import org.apache.hadoop.io.LongWritable;
	import org.apache.hadoop.mapreduce.Job;
	import org.apache.hadoop.mapreduce.Mapper;
	import org.apache.hadoop.mapreduce.Reducer;
	import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
	import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
	import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
	import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
	import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;
	import org.apache.hadoop.util.GenericOptionsParser;
	
	import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;
	
	public class DefaultMapReduce {
	 public static void main(String[] args) throws Exception {
	 Configuration conf = new Configuration();
	 String[] remainArgs = new GenericOptionsParser(args).getRemainingArgs();
	 if (remainArgs.length != 2) {
	 System.exit(2);
	 }
	 Job job = new Job(conf, "DefaltMapReduce");
	 job.setInputFormatClass(TextInputFormat.class);
	 job.setMapperClass(Mapper.class);
	 job.setMapOutputKeyClass(LongWritable.class);
	 job.setMapOutputValueClass(Text.class);
	 job.setPartitionerClass(HashPartitioner.class);
	 job.setReducerClass(Reducer.class);
	 job.setOutputFormatClass(TextOutputFormat.class);
	 FileInputFormat.addInputPath(job, new Path(args[0]));
	 FileOutputFormat.setOutputPath(job, new Path(args[1]));
	 System.exit(job.waitForCompletion(true) ? 0 : 1);
	 }
	
	}

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

　MapReduce　

同语言下

可能有用的

liangbo贡献的其它代码(4)