温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hadoop核心组件:四步通晓HDFS

发布时间:2020-07-04 15:21:05 阅读:639 作者:caosheng03 栏目:大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统,它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序,那么在实际应用中我们如何来操作使用呢?

一、HDFS操作方式:

1、  命令行操作

Hadoop核心组件:四步通晓HDFS

2、 其他的计算框架-如spark

Hadoop核心组件:四步通晓HDFS

3、  其他程序:

(1)Java的API,借助于其他的一些计算框架或者分析工具都可以访问HDFS,如Sqoop加载数据到HDFS,Flume加载日志到HDFS,Impala基于HDFS进行查询

(2)REST API:通过HTP的方式访问HDFS。

Hadoop核心组件:四步通晓HDFS

二、重点关注HDFS命令行的方式:

    (1)从本地磁盘拷贝文件foo.txt到HDFS的用户目录

Hadoop核心组件:四步通晓HDFS

   文件将会拷贝到/user/username/foo.txt

Hadoop核心组件:四步通晓HDFS

(3)获取HDFS的根目录

Hadoop核心组件:四步通晓HDFS

(4)显示HDFS文件/user/fred/bar.txt内容

Hadoop核心组件:四步通晓HDFS

(5)拷贝文件到本地磁盘,命名为baz.txt

Hadoop核心组件:四步通晓HDFS

(6)在用户home目录下创建input目录

Hadoop核心组件:四步通晓HDFS

     (7)删除input_old目录和所有里面的内容

Hadoop核心组件:四步通晓HDFS

三、通过HUe进行操作。

Hadoop核心组件:四步通晓HDFS

四、HDFS推荐

    掌握以上四步对于应用HDFS有着重要的作用和意义,但是大家应该根据自己的情况循序渐进,注重实践,才可以不断取得进步。我平时喜欢找一些案例进行分析,从而锻炼提升自己的技能,这个比较喜欢“大数据cn ”这个微信服务平台。但是真知更多源于实践,只有学习和了解他人的经验,才可以走的更高更远,我爱关注微信订阅号“大数据时代学习中心”,研究各位数据大牛的经验分享,对于促进我个人的技术成长有着非凡的意义。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI

开发者交流群×