网站首页
网站导航
Ctrl+D收藏
首 页
代码段
源码包
文档库
工具箱
代码语言
.
CSharp
.
JS
Java
Asp.Net
C
MSSQL
PHP
Css
PLSQL
Python
Shell
EBS
ASP
Perl
ObjC
VB.Net
VBS
MYSQL
GO
Delphi
AS
DB2
Domino
Rails
ActionScript
Scala
代码分类
文件
系统
字符串
数据库
网络相关
图形/GUI
多媒体
算法
游戏
Jquery
Extjs
Android
HTML5
菜单
网页交互
WinForm
控件
企业应用
安全与加密
脚本/批处理
开放平台
其它
【
Spark
】
spark多路输出
作者:
/ 发布于
2017/5/22
/
318
实现的功能:按不同的key写到不同的文件名 其中data为kv型的Rdd
data.partitionBy(new HashPartitioner(4)).saveAsHadoopFile(outputPath, classOf[String], classOf[String], classOf[RDDMultipleTextOutputFormat]) RDDMultipleTextOutputFormat自定义类 import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat import org.apache.hadoop.io.{BytesWritable, NullWritable, Text} class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] { //key值不在文件内容生成 override def generateActualKey(key: Any, value: Any): NullWritable= NullWritable.get() //.asInstanceOf[NullWritable] override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String = key.asInstanceOf[String] // "/r_"+ key.asInstanceOf[String]+"/"+ key.asInstanceOf[String] }
评论列表
本站所提供的代码,版权归原作者所有,若有侵犯作者版权,请与我们联系,我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。
试试其它关键字
同语言下
.
spark多路输出
.
Spark MLlib之KMeans
.
Spark MLlib之协同过滤
可能有用的
.
spark多路输出
.
Spark MLlib之KMeans
.
Spark MLlib之协同过滤
贡献的其它代码
Label
地图
本站
我们
服务
版权
联系
回馈
博客