这篇文章主要介绍“hadoop怎么向HDFS文件追加新内容 ”,在日常操作中,相信很多人在hadoop怎么向HDFS文件追加新内容 问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”hadoop怎么向HDFS文件追加新内容 ”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
在hadoop1.2.1中,网上有很多文章说这个版本不支持文件追加模式,设置了
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
无效
由于我现在做的项目需要这个功能,而升级hadoop似乎不太可能,然后查看源码发现,其中allowBrokenAppend是用于判断是否支持追加的标识符
this.allowBrokenAppend = conf.getBoolean("dfs.support.broken.append", false);
if (conf.getBoolean("dfs.support.append", false)) {
LOG.warn("The dfs.support.append option is in your configuration, " +
"however append is not supported. This configuration option " +
"is no longer required to enable sync");
}
<pre name="code" class="java"> LocatedBlock appendFile(String src, String holder, String clientMachine
) throws IOException {
if (!allowBrokenAppend) {
throw new IOException("Append is not supported. " +
"Please see the dfs.support.append configuration parameter");
}
startFileInternal(src, null, holder, clientMachine, false, true,
false, (short)maxReplication, (long)0);
getEditLog().logSync();
看到这里就很明白了吧,dfs.support.append属性已经作废不起作用了,如果想支持追加模式需要以下设置
<property>
<name>dfs.support.broken.append</name>
<value>true</value>
</property>
到此,关于“hadoop怎么向HDFS文件追加新内容 ”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/jerryyl/blog/353259