温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么配置Hadoop伪分布模式并运行Wordcount

发布时间:2021-12-10 09:51:37 来源:亿速云 阅读:218 作者:iii 栏目:云计算

本篇内容介绍了“怎么配置Hadoop伪分布模式并运行Wordcount”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

第四步:配置Hadoop伪分布模式并运行Wordcount示例

伪分布模式主要涉及一下的配置信息:

  1. 修改Hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口号;

  2. 修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication;

  3. 修改Hadoop的MapReduce的配置文件mapred-site.xml,主要是配置JobTracker的地址和端口;

在具体操作前我们先在Hadoop目录下创建几个文件夹:

怎么配置Hadoop伪分布模式并运行Wordcount

下面开始构建具体的伪分布式的过程并进行测试:

首先配置core-site.xml文件:

怎么配置Hadoop伪分布模式并运行Wordcount

进入core-site.xml文件:

怎么配置Hadoop伪分布模式并运行Wordcount

配置后文件的内容如下所示:

怎么配置Hadoop伪分布模式并运行Wordcount

使用“:wq”命令保存并退出。

接下来配置hdfs-site.xml,打开文件:

怎么配置Hadoop伪分布模式并运行Wordcount

打开后的文件:

怎么配置Hadoop伪分布模式并运行Wordcount

配置后的文件:

怎么配置Hadoop伪分布模式并运行Wordcount

输入“:wq”保存修改信息并退出。

接下来修改mapred-site.xml配置文件:

怎么配置Hadoop伪分布模式并运行Wordcount

进入配置文件:

怎么配置Hadoop伪分布模式并运行Wordcount

修改后的mapred-site.xml配置文件的内容为:

怎么配置Hadoop伪分布模式并运行Wordcount

使用“:wq”命令保存并退出。

通过上面的配置,我们完成了最简单的伪分布式配置。

接下来进行hadoop的namenode格式化:

怎么配置Hadoop伪分布模式并运行Wordcount

输入“Y”,完成格式化过程:

怎么配置Hadoop伪分布模式并运行Wordcount

接下来启动Hadoop!

启动Hadoop,如下所示:

怎么配置Hadoop伪分布模式并运行Wordcount

使用java自带的jps命令查询出所有的守护进程:

怎么配置Hadoop伪分布模式并运行Wordcount

启动Hadoop!!!

接下来使用Hadoop中用于监控集群状态的Web页面查看Hadoop的运行状况,具体的页面如下:

http://localhost:50030/jobtracker.jsp    

http://localhost:50060/tasttracker.jsp   
http://localhost:50070/dfshealth.jsp    

怎么配置Hadoop伪分布模式并运行Wordcount

怎么配置Hadoop伪分布模式并运行Wordcount

怎么配置Hadoop伪分布模式并运行Wordcount

上述Hadoop运行状态监控页面表明我们的伪分布式开发环境完全搭建成功!

 接下来我们使用新建的伪分布式平台运行wordcount程序:

首先在dfs中创建input目录:

怎么配置Hadoop伪分布模式并运行Wordcount

此时创建的文件因为没有指定hdfs具体的目录,所以会在当前用户“rocky”下创建“input”目录,查看Web控制台:

怎么配置Hadoop伪分布模式并运行Wordcount

执行文件拷贝操作

“怎么配置Hadoop伪分布模式并运行Wordcount”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI