这篇文章主要为大家展示了“hadoop如何解决discp不同版本间拷贝数据的问题”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章吧。
hadoop discp 的时候遇到的checksum mismatch问题
解决方法
网上普遍解决方法
在hdfs-site.xml
将dfs.checksum.type属性设置为CRC32
使用过程中仍然有报上述错误
经检验 参照 http://blog.sina.com.cn/s/blog_7ed002b30101kk08.html
使用 -update -skipcrccheck 选项即可。
hadoop distcp -update -skipcrccheck hftp://host:50070/文件 /路径
以上是“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。