温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop2.5.2的安装过程

发布时间:2021-08-05 09:29:59 来源:亿速云 阅读:83 作者:chen 栏目:云计算

本篇内容介绍了“hadoop2.5.2的安装过程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

 安装之前,想好自己的安装顺序,我的安装顺序

        1 确定安装集群的数量和namenode,datanode分配,然后修改对应的osts配置文件

        2 让集群之间实现ssh无密码登陆(hadoop集群中,namenode节点需要能够ssh无密码访问datanode节点)

        3 配置详细环境,主要为jdk包和hadoop包

 本章主要介绍安装过程,详细的配置文档请点击 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 将集群中的机器添加到hosts中

2 实现SSH无密码验证配置
          注:1 hadoop 集群中,nameNode节点,需要能够ssh 无密码访问dataNode节点
                 2 多台机器需要重复操作 2),3) ,4)过程
      1)首先 nameNode节点生成公钥
              输入: ssh-keygen -t rsa 
                生成过程中有三次要求回车(基本全部回车不用设置)
                        1 采用默认文件保存钥匙
                        2 键入密码短语,如果建立至少5个字符
                        3 重复密码短语
      2)将生成的密钥拷贝到daataNode节点中(如果是非root用户,就是/home下该用户的主目录)
               输入: cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中间要求输入对应机器的密码,输入就行
   3)检查datanode机器authorized_keys的权限,确保为644(-rw-r--r--),如果不是,则修改权限,命令如下 chmod 644 authorized_keys
4)测试 ssh 192.168.1.101

 3 安装Jdk
   1) 这是格式为.bin的jdk
       jdk-6u45-linux-i586.bin复制到/usr/java文件夹下,在/usr/java文件夹下执行./jdk-6u45-linux-i586.bin
   2) 常见安装包为 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打开/etc/profile,在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以执行source profile(在/etc/文件夹下)快速生效
     输入java -version测试

 4 安装hadoop
          hadoop-2.5.2
    同jdk安装,将下载好的hadoop压缩包解压
               例:tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同样在环境变量文件中添加对应的环境变量
      打开/etc/profile,在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   执行source profile(在/etc/文件夹下)快速生效

 5 配置hadoop需要的配置文件

        详情请看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令将hadoop文件夹拷贝到所有的节点机器相同路径上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 为文件夹里面所有文件  root为复制电脑的用户名,后面接的为IP请见上面hosts配置文件,后面跟的是复制到的路径

 6 要确认防火墙的配置,或者直接关闭

       /etc/init.d/iptables status 本次关闭为  /etc/init.d/iptables stop 其他请百度

 7 启动测试

      先格式化 namenode  方法为: ./bin/hadoop namenode -format

      如果格式化因为其他问题报错,或者不是第一次格式化 请将core-site.xml 配置文件中hadoop.tmp.dir tmp文件夹删除。

    如果输出出现(基本倒数几行里面) : /hadoop-2.5.2/hdfs/name has been successfully formatted  说明成功,报错就需要自己百度google查找问题

 8 然后将hdfs yarn启动

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 启动成功后 可进行浏览器访问

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都没有问题就说明hadoop和jdk安装成功。。然后开搞吧

“hadoop2.5.2的安装过程”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI