Debian系统Hadoop安装步骤

debian

小樊

2025-02-22 12:50:39

栏目: 智能运维

在Debian系统上安装Hadoop的步骤如下：

1. 环境准备

操作系统要求：确保你的系统是Debian，并且已经更新到最新版本。
软件依赖：安装Java Development Kit (JDK) 1.8或更高版本，以及SSH服务用于节点间的通信。

2. 下载Hadoop

访问Hadoop官网，点击“Download”进入下载页面。
推荐下载最新稳定版，例如Hadoop 3.3.1。
下载对应的tar.gz文件并保存到本地。

3. 安装Hadoop

解压下载的Hadoop文件：
```
tar -xzvf hadoop-3.3.1.tar.gz
```
将解压后的目录移动到合适的安装位置，例如/usr/local/hadoop：
```
sudo mv hadoop-3.3.1 /usr/local/hadoop
```

配置环境变量：

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：
```
source ~/.bashrc
```

4. 配置Hadoop

在Hadoop目录下，编辑以下配置文件：

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/dfs/data</value>
    </property>
</configuration>

mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5. 格式化HDFS

在NameNode上运行以下命令格式化HDFS：

hdfs namenode -format

6. 启动Hadoop服务

在NameNode上启动Hadoop的NameNode和DataNode：

start-dfs.sh

在ResourceManager上启动YARN：

start-yarn.sh

7. 验证安装

检查Hadoop版本：
```
hadoop version
```
运行一个简单的WordCount示例来验证安装是否成功。

以上步骤应该能帮助你在Debian系统上成功安装Hadoop。如果在安装过程中遇到任何问题，请检查日志文件以获取更多信息。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>