这篇文章主要介绍HDFS中出现java.io.IOException: Mkdirs failed to create错误怎么办 ,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
在写spark代码的时候,在将rdd的结果保存到hdfs上时,
rdd.saveAsTextFile("/data/spark")
出现了
java.io.IOException: Mkdirs failed to create
这个错误,个人一直认为这样就应该写到hdfs上了,但是一执行就报错,最后才发现,这种写法是写到本地了,如果要写到hdfs上要写上全路径
rdd.saveAsTextFile("hdfs://192.168.23.21:9000/data/spark")
这样就行了,总结一下
saveTextFile是将RDD保存到文件,本地模式时保存在本地文件,集群模式指如果在Hadoop基础上则保存在HDFS上,由于我用的是本地模式所以会报以上的错误,如果用的是集群就可以直接那样写了。
以上是“HDFS中出现java.io.IOException: Mkdirs failed to create错误怎么办 ”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。