java操作hdfs（上传、下载、查询）代码,Java代码库,德仔网

代码语言

代码分类

【Java】 java操作hdfs（上传、下载、查询）

作者: / 发布于2017/5/22/ 305

java操作hdfs（上传、下载、查询）

一、新建Java project

二、导入hdfs的配置文件到src目录下
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
三、导入相关jar（Hadoop的所有jar包）
四、编写测试类
内容如下：
package com.test;

import Java.io.File;
import java.io.FileInputStream;
import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.SequenceFile.CompressionType;
import org.apache.hadoop.io.SequenceFile.Reader;
import org.apache.hadoop.io.Text;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
/**
 * 
* @ClassName: HdfsTest 
* @Description: 测试hdfs的上传和下载，以及
* @author 
* @date 2016年5月23日 下午1:29:18 
*
 */
public class HdfsTest {
private FileSystem fs ;
Configuration conf;
@Before
public void setup()throws Exception{
//读取classpath目录下所有hadoop的配置
conf =new Configuration();
fs =FileSystem.get(conf);
}

@After
public void end()throws Exception{
fs.close();
}

/**
* 
* @Title: mkdir 
* @Description: 测试在hdfs上创建文件夹
* @param @throws Exception    
* @return void   
* @throws
*/
@Test
public void mkdir()throws Exception{
Path dir =new Path("/usr/zs");
fs.mkdirs(dir);
}
/**
* 
* @Title: upload 
* @Description: 测试上传文件到hdfs上
* @param @throws Exception    
* @return void   
* @throws
*/
@Test
public void upload()throws Exception{
Path file =new Path("/usr/zs/11.jar");
FSDataOutputStream out = fs.create(file);
IOUtils.copyBytes(new FileInputStream("D:\\demo-step.jar"), out, conf);
}
/**
* 
* @Title: ls 
* @Description: 列出文件夹下的文件信息
* @param @throws Exception    
* @return void   
* @throws
*/
@Test
public void ls()throws Exception{
Path dir =new Path("/usr/zs");
FileStatus[] fss = fs.listStatus(dir);
for(FileStatus file :fss){
System.out.println(file.isDirectory());
System.out.println(file.getPath());
System.out.println(file.getModificationTime());
System.out.println(file.getLen());
}
}


/**
* SequenceFile:hdfs 中的序列文件，把多个文件合成（压缩）一个大文件
*   :每个小文件：key和value
* string:Text
* int:IntWritble
* long:LongWritble
* Map:MapWritble
* @throws Exception
*/
@Test
public void smallFiles()throws Exception{
Path big =new Path("/usr/zs/test");
SequenceFile.Writer writer =SequenceFile.createWriter(fs, conf, big, Text.class, Text.class, CompressionType.NONE);
for(File file:new File("E:\\data").listFiles()){
writer.append(new Text(file.getName()), new Text(FileUtils.readFileToString(file)));
}
writer.close();
}
/**
* 
* @Title: readSmallFiles 
* @Description: 读取文件内容
* @param @throws Exception    
* @return void   
* @throws
*/
@Test
public void readSmallFiles()throws Exception{
Path big =new Path("/usr/zs/test");
SequenceFile.Reader reader =new Reader(fs, big, conf);
while(reader.next(new Text("NOTICE.txt"))){
Text t =new Text();
reader.getCurrentValue(t);
System.out.println(t.toString());
}
}
}
五、备注
以上测试已经通过，可以直接修改后使用。

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

同语言下

可能有用的

贡献的其它代码Label