这篇文章将为大家详细讲解有关Hadoop命令怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
用法:
hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]
[COMMAND_OPTIONS]
字段 | 描述 |
--config confdir | 覆盖默认配置目录。默认目录是${HADOOP_HOME}/conf |
--loglevel loglevel | 覆盖日志级别。有效值:FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默认为INFO。 |
GENERIC_OPTIONS | 支持多个命令的options集合 |
COMMAND_OPTIONS | Hadoop子项目的各种命令的options集合 |
Generic Options
GENERIC_OPTIONS | 描述 |
-archives | Specify comma separated archives to be unarchived on the compute machines. Applies only to job. |
-conf | 指定一个应用程序的配置文件 |
-D = | 使用指定属性值 |
-files | 指定逗号分隔的文件列表复制到MapReduce集群。只应用于任务。 |
-jt or | 指定ResourceManager。只应用于任务。 |
-libjars | 指定逗号分隔的jar文件包括在classpath中。应用于任务。 |
所有这些命令从hadoop shell command执行。它们被分为用户命令和管理员命令。
Hadoop集群用户使用的命令。
archive
创建hadoop归档。
checknative
用法:hadoop checknative [-a] [-h]
COMMAND_OPTION | 描述 |
-a | 检测所有类库是否可用 |
-h | 打印帮助 |
该命令检测Hadoop本地代码有效性。默认,该命令只检测libhadoop有效性。
classpath
用法:
用法:hadoop classpath [--glob |--jar <path> |-h |--help]
COMMAND_OPTION | 描述 |
--glob | 执行通配符 |
--jar | 指定jar名称 |
-h |--help | 打印帮助 |
打印需要获取的Hadoop jar和必须类库的classpath。如果没有参数,那么打印整个
classpath。额外选项打印通配符扩展后面的classpath或写classpath到jar文件的清单文件
中。
credential
用法:
hadoop credential <subcommand> [options]
COMMAND_OPTION | 描述 |
create alias [-provider provider-path] | 提示用户证书存储为指定别名。core-site.xml文件中的 hadoop.security.credential.provider.path将被使用除非提供-provider参数。 |
delete alias [-provider provider-path] [-f] | 使用指定别名删除证书。core-site.xml文件中的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。指定-f选项系统会询问你是否确认执行命令。 |
list [-provider provider-path] | 列出所有的证书别名。core-site.xml的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。 |
命令管理在证书提供商中管理证书、密码和秘钥。
Hadoop的CredentialProvider API允许将应用程序和它们需要的密码/秘钥分开存储。为了指定
特殊提供商的类型和位置,用户必须在core-site.xml文件中设置
hadoop.security.credential.provider.path配置元素或使用命令行选项-provider。该提供商
路径是一个逗号分隔的表示提供商类型和位置的URL列表。例如:
user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path
/test.jceks
表示当前用户的证书文件通过User Provider获取,本地文件系统位于/tmp/test.jceks是Java
Keystore Provider,HDFS文件系统中的nn1.example.com/my/path/test.jceks也是Java
Keystore Provider。
当利用证书命令,它将提供密码或秘钥给特定证书存储提供商。为了明确指定提供商存储位置
使用-provider选项。否则,指定多个提供商,第一个非瞬时的提供商被使用。
例子:
hadoop credential list -provider jceks://file/tmp/test.jceks
distcp
递归复制文件和目录。
fs
等价于HDFS中的hdfs dfs命令。
jar
用法:
hadoop jar <jar> [mainClass] args...
运行jar文件。
使用yarn jar加载YARN应用程序。
key
通过KeyProvider管理键。
trace
浏览和修改Hadoop追踪设置。
version
用法:
hadoop version
打印版本。
classname
用法:
hadoop CLASSNAME
运行类名CLASSNAME的类。
Hadoop集群管理员使用的命令。
daemonlog
用法:
hadoop daemonlog -getlevel <host:httpport> <classname>
hadoop daemonlog -setlevel <host:httpport> <classname> <level>
COMMAND_OPTION | 描述 |
-getlevel | 打印运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log= |
-setlevel | 设置运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=&level= |
关于“Hadoop命令怎么用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。