温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hadoop应用之如何实现Hadoop安装

发布时间:2021-11-26 11:39:02 来源:亿速云 阅读:149 作者:小新 栏目:开发技术

这篇文章给大家分享的是有关Hadoop应用之如何实现Hadoop安装的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

一,安装hadoop系统

1,添加用户(所有namenode和datanode需要使用相同的用户名,所有的信息传输需要用户认证)
freebsd7test1#adduser
Username:rhinuxdoop
Fullname:
Uid(Leaveemptyfordefault):
Logingroup[rhinuxdoop]:
Logingroupisrhinuxdoop.Inviterhinuxdoopintoothergroups?[]:
Loginclass[default]:
Shell(shcshtcshbashrbashnologin)[sh]:bash//注意***使用bash,其实程序运行的时候会自动指定shell环境
Homedirectory[/home/rhinuxdoop]:/services/rhinuxdoop
客户端必须是和服务端同样的用户名

2,hadoop需要使用rsync+ssh同步状态和数据,需要无需输入密码就可访问,所以设置用密钥认证
a,生产密钥对(用添加的用户操作本例用户为rhinuxdoop)
[rhinuxdoop@freebsd7test1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
默认在~/.ssh/下
b,在本机用户中添加
[rhinuxdoop@freebsd7test1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
c,添加到其他datanode
将namenoderhinuxdoop用户目录下.ssh/id_rsa.pub文件内容导入其他datanode
[rhinuxdoop@freebsd7test2~]$catid_dsa.pub>>~/.ssh/authorized_keys
d,测试:用rhinuxdoop在namenode上登陆让后ssh到所有的datanode(本例中包括自己机器)
应该无需密码就可以登陆

3,下载hadoop安装软件
a,去http://hadoop.apache.org/core/下载***版本hadoop目前为0.16.0版
b,解压hadoop-0.16.0.tar.gz到用户目录/services/rhinuxdoop/
[rhinuxdoop@freebsd7test1~]$tarzxvfhadoop-0.16.0.tar.gz.

4,hadoop-0.16.0目录结构说明:
a,bin存放脚本程序,
比如主控制程序hadoop,
启动脚本start-all.sh--启动所有hadoop进程start-dfs.sh--启动DFS进程start-mapred.sh启动MAP/Reduce进程
停止脚本stop-all.shstop-dfs.shstop-mapred.sh
b,conf配置文件目录,
环境配置文件hadoop-env.sh可以配置环境变量,比如JAVA_HOME已经系统默认等。
默认配置文件hadoop-default.xml此文件不能修改需要设置参数请修改hadoop-site.xml
自定义配置文件hadoop-site.xml此文件可以自定义配置,出现在该文件中的配置项,系统将自动取代默认配置文件hadoop-default.xml中的配置项
namenode指定文件masters此文件来指定master(namenode)机器名
datanode指定文件slaves此文件来指定slave(datanode)机器列表,每台机器名占一行
c,log目录
默认日志存放目录
d,各配置文件具体参数说明和研究下一个版本中给出。下面我们看一下Hadoop安装过程中hadoop配置(freebsd7test1)。

5,hadoop配置(freebsd7test1):
a,建立namenode存储目录及数据目录
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/name
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/data
b,配置环境变量,编辑./conf/hadoop-env.sh
===============hadoop-env.sh====================
exportJAVA_HOME=/usr/local/jdk1.5.0
#至少要设置JAVA_HOME,另外也可以设置HADOOP_HOME-系统目录,HADOOP_HOME默认为bin目录的父目录
=================================================

c,配置hadoop-site.xml(关于可配置项已经各配置项的说明可以参考hadoop-default.xml)
配置项格式为:

<property> <name>io.file.buffer.size</name> <value>4096</value> <description>Thesizeofbufferforuseinsequencefiles.  Thesizeofthisbuffershouldprobablybeamultipleofhardware  pagesize(4096onIntelx86),anditdetermineshowmuchdatais  bufferedduringreadandwriteoperations.</description> </property>  <property> <name>配置项名字</name> <value>配置项的值</value> <description>配置项的说明此文字只是帮助人理解用.</description> </property>

格式化namenode
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopnamenode-format
无报错既可,Hadoop安装过程中freebsd7test1基本配置已完成

6,hadoop配置(freebsd7test2及其他datanode)

a,其他datanode必须保持namenode相同的目录结构所以把namenode目录复制过去
[rhinuxdoop@freebsd7test1~]$scp-rhadoop-0.16.0172.16.27.82:/services/rhinuxdoop/

7,启动hadoop
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/start-all.sh
此时会告知日志记录的目录和文件名,日志记录基本可以在hadoop-site.xml中设定默认在hadoop-default.xml中设置为info

8,查看和测试。

a,系统开启9000和9001端口分别为dfs的namenode和mapreduce的jobtracke监听口。

b,查看datanode状态:[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopdfsadmin-report可以看到各点的状态

c,存放文件:[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-put/home/xuyunfeng/tzupdater-1.3.3-2007k.ziptzupdater-1.3.3-2007k.zip
将在本地系统目录的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系统根目录中。

d,查看hadoop文件系统目录[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-ls
/user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2<r3>543472742008-02-2810:57rw-r--r--rhinuxdoopsupergroup
/user/rhinuxdoop/tzupdater-1.3.3-2007k.zip<r3>2637152008-02-2816:16rw-r--r--rhinuxdoopsupergroup

e,更多hadoop文件系统命令操作请参考手册

f,api调用测试后续

g,可以通过web形式去浏览NameNode和JobTracker,默认端口为:
◆NameNode-http://freebsd7test1.rhinux.com:50070
◆JobTracker-http://freebsd7test1.rhinux.com:50030
◆需要在浏览的机器上配置好hosts。

感谢各位的阅读!关于“Hadoop应用之如何实现Hadoop安装”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI