hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建

本篇内容主要讲解“hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建”吧!

1环境准备    

1 安装rz sz 方便重自己本地windows上  上传下载文件

yum install -y lrzsz

2 软件工具装备好

   -rw-r--r--. 1 root root 311585484 Feb 20  2018 hadoop-2.6.0-cdh6.7.0.tar.gz

-rw-r--r--. 1 root root 173271626 Feb 23 17:25 jdk-8u45-linux-x64.gz

 3 进行环境 的安装

     mkdir -p /usr/local/java

     tar –zxvf  jdk-8u45-linux-x64.gz –C /usr/local/java

     mkdir /opt/local

tar -zxvf hadoop-2.6.0-cdh6.7.0.tar.gz -C  /opt/local

mv hadoop-2.6.0-cdh6.7.0/ hadoop2.6.0

编辑配置，文件把对应的路径配置成功

vi /etc/profile

export HADOOP_HOME=/opt/local/hadoop-2.6.0

export JAVA_HOME=/usr/local/java/jdk1.8.0_65

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:$HADOOP_HOME/bin

把配置文件生效

source /etc/profile

 java –version 查看 自己版本是否配置成功

配置  地址 把自己的hostname 和 ip地址进行绑定，防火墙

关闭自己机器的防火墙

chkconfig iptables –list 查看哪些没关

chkconfig iptables off 关闭

修改自己机器的域名

vi /etc/sysconfig/network

HOSTNAME=hadoop001

Reboot 重启生效

hostsname  查看主机名是否修改成功

vi /etc/hosts

192.168.225.100 hadoop001

Reboot 重新启动一下机器

2配置hadoop 为分布式

  1 cd /opt/local/hadoop2.6.0/etc/hadoop

   Vi  vi core-site.xml  核心文件  地址

     <configuration>

<property>    

 <name>fs.defaultFS</name>

        <value>hdfs:// hadoop001:9000</value> 

    </property>

     <property>

        <name> hadoop.tmp.dir</name>

        <value>/home/hadoop/app/tmp</value>

</property>

</configuration>

2 创建目录Mkdir   /home/hadoop/app/tmp

3 vi hdfs-site.xml  

<configuration>

      <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

4  vi hadoop-env.sh 不配置启动找不到 jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_45

    5 [root@hadoop001 hadoop]# cp mapred-site.xml.template  mapred-site.xml

[root@hadoop001 hadoop]# vi mapred-site.xml

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

6 vi  vi yarn-site.xml

<configuration>

         <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

         </property>

 </configuration>

7 vi vi slaves  把主机名称加入表示datanode节点

配置好了格式化一下

bin/hdfs namenode –format

配置一下 ssh 免密码登陆

 Cd .ssh

输入 ssh-keygen 回车4次

-rw-------. 1 root root 1675 Feb 25 05:03 id_rsa

-rw-r--r--. 1 root root  396 Feb 25 05:03 id_rsa.pub

-rw-r--r--. 1 root root  798 Feb 25 05:02 known_hosts

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

         ssh + ip 或者域名 第一次输入需要密码 第二次 不需要了

启动sbin/start-dfs.sh

Jpd  命令  出现

8068 NameNode

8373 SecondaryNameNode

8551 ResourceManager

8649 NodeManager

8206 DataNode

24174 Jps

到此，相信大家对“hadoop cdh2.6.0-5.7.0伪分布式版本怎么搭建”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！