VMware虚拟机怎么搭建Hadoop2.7.1分布式集群

本篇内容介绍了“VMware虚拟机怎么搭建Hadoop2.7.1分布式集群”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

【架构介绍】

【准备工作】

1. VMware：11.0.0 build-2305329 (下载：http://pan.baidu.com/s/1skq0oP3 )

2. CentOS：CentOS-6.7-x86_64-bin-DVD1.iso (下载：http://pan.baidu.com/s/1o7xYgGE )

                    或Ubuntu(以CentOS为例，一般生产环境用的是CentOS)

3. 本地机器配置：

5. JDK

（1）版本1.7.9

（2）下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

【运行MapReduce】

1. 准备数据

    在本地目录创建wordcount.txt文件，并随便输入写英文，如：

aa bb cc dd

2. 上传文件

hadoop fs -put ./wordcount.txt /workspace

3. 执行命令

hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /workspace/wordcount.txt /outpath

4. UI查看任务

http://192.168.159.130:8088/cluster/app/RUNNING

5. 查看结果

hadoop fs -cat /outpath/*

aa    1

bb    1

cc    1

dd    1 

【遇到的问题】

1. 拒绝连接

    问题描述：在启动和运行任务时报连接拒绝等问题。

    解决方案：检查防火墙是否已关闭。

2. resourcemanager起动失败

    问题描述：启动集群时，其他进程都正常，只有resourcemanager启动失败，或只启动短暂几秒钟后失败。

    解决方案：通过hadoop02机器（即resourcemanager所在机器）执行sh start-all.sh启动集群。

3. 执行start-all.sh时出现异常

    问题描述：启动集群时，报错：Error:Cannot find configuration directory:/etc/hadoop

    解决方案：在 hadoop-env.sh  配置文件中将 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"etc/hadoop"}替换成 export HADOOP_CONF_DIR=/usr/hadoop-2.6.0/etc/hadoop修改完后运行 source hadoop-env.sh 让其立即生效！

4. 运行Wordcount报错

    问题描述：跑自带WordCount时候报mapreduce_shuffle does not exist。

    解决方案：在yarn-site.xml中加如下配置

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

5. 运行Wordcount一段时间后报错

    问题描述：hadoop org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

    解决方案：百度说是集群的时间不同步，解决方法参考:
    http://www.chinadmd.com/file/tixiarput3eweszaceuzpttc_1.html
    http://www.aboutyun.com/thread-11397-1-2.html
    http://www.linuxde.net/2013/02/12232.html

“VMware虚拟机怎么搭建Hadoop2.7.1分布式集群”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！