Hadoop在Linux环境下如何部署

在Linux环境下部署Hadoop的步骤如下：

环境准备

1. 选择Linux发行版：推荐使用Ubuntu 24.2或其他稳定版本。
2. 安装JDK：
   • 下载JDK 1.8.0_361（或其他兼容版本）。
   • 使用APT管理工具安装JDK：

     sudo apt-get update
     sudo apt-get install openjdk-8-jdk
     

     复制代码
   • 验证安装：

     java -version
     

     复制代码
3. 配置SSH免密登录：
   • 生成密钥对：

     ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
     

     复制代码
   • 将公钥添加到authorized_keys文件中：

     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     

     复制代码
   • 测试免密登录：

     ssh localhost
     

     复制代码

安装Hadoop

1. 下载Hadoop：
   • 从Hadoop官方网站下载Hadoop 3.3.5版本。
   • 解压到指定目录，例如/opt/hadoop：

     sudo mkdir /opt/hadoop
     wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
     sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop
     

     复制代码
2. 配置环境变量：
   • 编辑~/.bashrc文件，添加以下内容：

     export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
     export HADOOP_HOME=/opt/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin
     

     复制代码
   • 使环境变量生效：

     source ~/.bashrc
     

     复制代码

配置Hadoop

1. 修改Hadoop配置文件：

   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

     复制代码
   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/opt/hadoop/tmp/dfs/name</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/opt/hadoop/tmp/dfs/data</value>
         </property>
     </configuration>
     

     复制代码
   • mapred-site.xml（可选，如果需要YARN支持）：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

     复制代码

2. 格式化NameNode：

   hdfs namenode -format
   

   复制代码

3. 启动Hadoop集群：

   • 启动HDFS和YARN：

     start-dfs.sh
     start-yarn.sh
     

     复制代码

4. 验证部署：

   • 访问Hadoop Web界面验证是否启动成功：
     • HDFS: http://localhost:50070
     • YARN: http://localhost:8088

请注意，以上步骤是一个基本的Hadoop部署流程，具体配置可能会因不同的需求和环境而有所不同。建议在部署前详细阅读Hadoop官方文档，并根据实际情况进行调整。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>