温馨提示×

Hadoop如何在Linux上配置

小樊
47
2025-09-06 20:34:23
栏目: 智能运维

以下是在Linux上配置Hadoop的步骤:

  1. 安装Java环境:推荐使用OpenJDK,以Ubuntu为例,执行命令sudo apt updatesudo apt install openjdk-11-jdk,安装完成后用java -version验证。
  2. 下载并解压Hadoop:从Apache官网下载,如wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz,然后解压到指定目录,如/usr/local,使用命令tar -xzvf hadoop-3.3.1.tar.gzsudo mv hadoop-3.3.1 /usr/local/hadoop
  3. 配置环境变量:编辑~/.bashrc文件,添加export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin等,执行source ~/.bashrc使配置生效。
  4. 配置Hadoop核心文件:在$HADOOP_HOME/etc/hadoop目录下,修改core-site.xmlhdfs-site.xml等文件。例如,在core-site.xml中设置fs.defaultFShdfs://localhost:9000,在hdfs-site.xml中设置dfs.replication1
  5. SSH免密登录配置:生成密钥ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa,将公钥复制到其他节点cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  6. 格式化HDFS:执行hdfs namenode -format
  7. 启动Hadoop集群:使用start-dfs.shstart-yarn.sh命令启动。
  8. 验证Hadoop:用jps命令查看进程,或通过浏览器访问http://localhost:9870(HDFS Web界面)和http://localhost:8088(YARN ResourceManager)验证。

0