往hdfs上追加数据
发布网友
发布时间：2022-05-12 23:53
我来回答
共1个回答
热心网友
时间：2023-11-01 00:53
你的hadoop参数配置正确了吗？在hdfs-site.xml中把以下属性修改为true才可以。
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
下面有一段测试代码，你可以参考一下：
package com.wyp;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.*;
import java.net.URI;
public class AppendContent {
public static void main(String[] args) {
String hdfs_path = "hdfs://mycluster/home/wyp/wyp.txt";//文件路径
Configuration conf = new Configuration();
conf.setBoolean("dfs.support.append", true);
String inpath = "/home/wyp/append.txt";
FileSystem fs = null;
try {
fs = FileSystem.get(URI.create(hdfs_path), conf);
//要追加的文件流，inpath为文件
InputStream in = new
BufferedInputStream(new FileInputStream(inpath));
OutputStream out = fs.append(new Path(hdfs_path));
IOUtils.copyBytes(in, out, 4096, true);
} catch (IOException e) {
e.printStackTrace();
}
}
}
