Linux系统怎样搭建hadoop集群

这篇文章跟大家分析一下“Linux系统怎样搭建hadoop集群”。内容详细易懂，对“Linux系统怎样搭建hadoop集群”感兴趣的朋友可以跟着小编的思路慢慢深入来阅读一下，希望阅读后能够对大家有所帮助。下面跟着小编一起深入学习“Linux系统怎样搭建hadoop集群”的知识吧。

Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台使用的是面向对象编程语言Java实现的，具有良好的可移植性。

HADOOP简介：

• Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

• 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台使用的是面向对象编程语言Java实现的，具有良好的可移植性。

Linux系统安装HADOOP步骤：

1尝试新建一个名为hadoop的用户并且设置密码（同时添加管理员权限）：

但是在刚开始就遇到了问题：由于我们下载的Hadoop和jdk在Windows下下载的，将文件共享进ubuntu时，只能共享到第一个创建的用户（我也不知道为什么），而且ubuntu下网络很慢，所以，我就没有创建新的用户，在原有的用户上进行的安装（后面运行成功证实是可以的）。

2.更新apt，下载vim

3.安装SSH、配置SSH无密码登陆：（提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了）

4.安装jdk（在Linux命令行界面中，执行如下Shell命令）：

解压过程：

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

继续执行如下命令，设置环境变量：

下面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件，在这个文件的开头位置，添加如下几行内容（注意自己的jdk 版本号）：

5.安装hadoop3.2.1（Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息）：

总体的命令：

6.Hadoop单机配置(非分布式)：（Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行）

运行例子：

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中

最后的结果与教程相符合：

将 ./output 删除

7. Hadoop伪分布式配置

修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，

修改为：

同样的，修改配置文件 hdfs-site.xml：

配置完成后，执行 NameNode 的格式化:

开启 NameNode 和 DataNode 守护进程：

还好没有教程中的错误：

网页面中打开9870端口：

到这里表明已经成功！

四、 实验中遇到的问题和解决办法，总结

问题一：Ubuntu和Windows之间的文件传输，拖拽，共享粘贴板。解决办法：安装VBox的增强功能，以及设置如下的地方（自行百度）：

问题二:新用户下，不能拖拽文件（就算是管理员也不行）没有解决，因此没有在新用户hadoop下安装，但是最后仍然是成功的

关于Linux系统怎样搭建hadoop集群就分享到这里啦，希望上述内容能够让大家有所提升。如果想要学习更多知识，请大家多多留意小编的更新。谢谢大家关注一下亿速云网站！