网站首页
网站导航
Ctrl+D收藏
首 页
代码段
源码包
文档库
工具箱
代码语言
.
CSharp
.
JS
Java
Asp.Net
C
MSSQL
PHP
Css
PLSQL
Python
Shell
EBS
ASP
Perl
ObjC
VB.Net
VBS
MYSQL
GO
Delphi
AS
DB2
Domino
Rails
ActionScript
Scala
代码分类
文件
系统
字符串
数据库
网络相关
图形/GUI
多媒体
算法
游戏
Jquery
Extjs
Android
HTML5
菜单
网页交互
WinForm
控件
企业应用
安全与加密
脚本/批处理
开放平台
其它
【
Java
】
Java API 读取HDFS的单文件
作者:
金宝
/ 发布于
2017/6/2
/
506
HDFS上的单文件: -bash-3.2$ hadoop fs -ls /user/pms/ouyangyewei/data/input/combineorder/repeat_rec_category Found 1 items -rw-r--r-- 2 deploy supergroup 520 2014-08-14 17:03 /user/pms/ouyangyewei/data/input/combineorder/repeat_rec_category/repeatRecCategory.txt 文件内容: -bash-3.2$ hadoop fs -cat /user/pms/ouyangyewei/data/input/combineorder/repeat_rec_category/repeatRecCategory.txt | more 8104 960985 5472 971917 5320 971895 971902 971922 958261 972047 972050 Java API使用FileSystem方式 读取HDFS单文件的方法 /** * 获取可重复推荐的类目,以英文逗号分隔 * @param filePath * @param conf * @return */ public String getRepeatRecCategoryStr(String filePath) { final String DELIMITER = "\t"; final String INNER_DELIMITER = ","; String categoryFilterStrs = new String(); BufferedReader br = null; try { FileSystem fs = FileSystem.get(new Configuration()); FSDataInputStream inputStream = fs.open(new Path(filePath)); br = new BufferedReader(new InputStreamReader(inputStream)); String line = null; while (null != (line = br.readLine())) { String[] strs = line.split(DELIMITER); categoryFilterStrs += (strs[0] + INNER_DELIMITER); } } catch (IOException e) { e.printStackTrace(); } finally { if (null != br) { try { br.close(); } catch (IOException e) { e.printStackTrace(); } } } return categoryFilterStrs; }
评论列表
本站所提供的代码,版权归原作者所有,若有侵犯作者版权,请与我们联系,我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。
试试其它关键字
同语言下
.
一行一行读取txt的内容
.
Java PDF转换成图片并输出给前台展示
.
java 多线程框架
.
double类型如果小数点后为零则显示整数否则保留两位小
.
将图片转换为Base64字符串公共类抽取
.
sqlParser 处理SQL(增删改查) 替换schema 用于多租户
.
JAVA 月份中的第几周处理 1-7属于第一周 依次类推 29-
.
java计算两个经纬度之间的距离
.
输入时间参数计算年龄
.
根据出生日期和当前时间计算年龄
可能有用的
.
一行一行读取txt的内容
.
Java PDF转换成图片并输出给前台展示
.
java 多线程框架
.
double类型如果小数点后为零则显示整数否则保留两位小
.
将图片转换为Base64字符串公共类抽取
.
sqlParser 处理SQL(增删改查) 替换schema 用于多租户
.
JAVA 月份中的第几周处理 1-7属于第一周 依次类推 29-
.
java计算两个经纬度之间的距离
.
输入时间参数计算年龄
.
根据出生日期和当前时间计算年龄
金宝
贡献的其它代码
(
10
)
.
匹配某文件中某一行并进行内容替换
.
Java API 读取HDFS的单文件
.
使用正则表达式过滤HTML中标签
.
背景图片自适应大小(平铺)
.
使用剪贴板的复制/粘贴程序
.
根据某个日期得到该月的所有日期
.
命名空间与自动装载
.
按指定符号分割字符串
.
最小生成树(kruskal正向表形式)
.
Java+Shell批量转码中文
地图
本站
我们
服务
版权
联系
回馈
博客