温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hive怎么用

发布时间:2021-12-10 10:21:42 来源:亿速云 阅读:142 作者:小新 栏目:云计算

这篇文章主要介绍了Hive怎么用,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

#简介#

Apache 顶级项目Hive数据仓库软件便于查询和管理驻留在分布式存储上的大型数据集.他提供了:

  • 能够进行简单的数据提取/转换/加载(ETL)的工具

  • 一种使各种各样的数据格式结构化的机制

  • 访问直接存储在Apache HDFS上的文件或者其他数据存储系统上的文件例如的Apache HBase

  • 通过MapReduce执行查询

Hive定义了一种简单的类似SQL的语言,叫做QL。它使熟悉SQL语句的用户可以查询数据。同时,这种语言也可以使熟悉MapReduce框架的编程人员通过插入他们自定义的map和reduce来执行更加复杂的这种语言内置功能不支持的复杂分析。QL也可以使用自定义的标量函数(UDF's),聚合函数(UDAF's)和表函数(UDTF's)扩展。

Hive并不强制数据读写使用“Hive format"--没有这样的事。Hive在Thrift上工作的同样很好,控制分离,或者你的特殊的数据格式。Please see File Formats and Hive SerDe in the Developer Guide for details.

Hive的设计不适合OLTP,也没有提供实时的查询和row级别的更新。它最擅长用于大型仅追加的数据集(就像web日志)的批量job。Hive最看重的是他的伸缩性(使用更多的及其动态的添加到Hadoop集群进行扩展),可扩展性(使用MapReduce框架和UDF/UDAF/UDTF),容错性,和对于他的输入格式的低耦合行。

Hive的组建包括HCatalog和WebHCat,HCatalog是Hive的一个组件。它是Hadoop的一个表和存储管理层,是用户能够使用不同的数据处理工具,包括Pig和MapReduce,来更加方便的在Grid上读写数据。

WebHCat提供一个服务,你可以使用它运行Hadoop MapReduce(或者YARN),Pig,Hive job,或者使用HTTP(RESTFul风格)接口执行Hive元数据操作。

#安装和配置# 你可以通过下载压缩包安装Hive的稳定版本,或者你可以下载Hive的源代码并从中构建Hive。

##必要条件##

  • Java 1.6

  • Hadoop 0.20.x, 0.23.x, or 2.0.x-alpha

##从一个稳定的版本安装Hive## 首先从Apache的下载镜像下载Hive最新的稳定版本。

接下俩你需要解压压缩包,浙江创建一个命名为hive-x.y.z(x.y.z是稳定版版本)的子目录。

tar -xzvf hive-x.y.z.tar.gz

设置环境变量HIVE_HOME 指向这个安装目录。

cd hive-x.y.z export HIVE_HOME={{pwd}}

最后,添加$HIVE_HOME/bin到你的PATH

export $PATH:$HIVE_HOME/bin

##运行Hive## Hive使用Hadoop,所以:

  • 你需要添加Hadoop到你的PATH,或者

  • export HADOOP_HOME=<hadoop-install-dir>

此外,在你zaiHive中创建一个表之前,你必须在HDFS中创建/tmp和/user/hive/warehouse并且设置它们chmod g+w。

进行此设置的命令:

$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp $ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

你将会发现设置HIVE_HOME是有用的,虽然他不是必需的。

$ export HIVE_HOME=<hive-install-dir>

在shell下使用Hive的命令行接口(CLI):

$ $HIVE_HOME/bin/hive

#DDL操作# Hive的DDL操作都记录在 Hive Data Definition Language.

###创建Hive表###

CRATE TABLE pokes (foo INT,bar STRING);

创建一个拥有两列的叫做pokes的表,第一列是一个integer,第二列是一个String。

CREATE TABLE invites(foo INT ,bar STRING) PARTITIONED BY (ds STRING);

创建一个表invites,它有两列和一个叫做ds的分区列。分区列是一个虚拟的列。它不是数据自身的一部分,而是来自一个特殊的数据集被加载到分区。

默认情况下,表设定输入格式为text,分隔符假定为^A(ctrl-a).

###浏览表###

SHOW TABLES;

列出所有表。

SHOW TABLES '.*S';

列出所有以s结尾的表。这里的匹配模式遵循JAVA正则表达式。查看这个链接的文档:http://java.sun.com/javase/6/docs/api/java/util/regex/Pattern.html.

DESCRIBE invites;

显示表的列的列表。

###修改和删除表### 表名可以被改变,列可以添加或者替换。

hive> ALTER TABLE events RENAME TO 3koobecaf; hive> ALTER TABLE pokes ADD COLUMNS (new_col INT); hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment'); hive> ALTER TABLE invites REPLACE COLUMNS (foo INT, bar STRING, baz INT COMMENT 'baz replaces new_col2');

注意REPLACE COLUMNS 替换所有已存在的列并且只改变表结构,不改变表数据。表必须使用本地的SerDe。REPLACE COLUMNS也可以用于从表结构中删除列。

hive> ALTER TABLE invites REPLACE COLUMNS (foo INT COMMENT 'only keep the first column');

删除表

hive> DROP TABLE pokes;

###元数据存储### 元数据存储在一个迁入的Derby数据库中,它的磁盘位置取决于Hive配置文件中的变量: javax.jdo.option.ConnectionURL.默认情况下,这个位置是./metastore_db(看conf/hive-default.xml)

现在,在默认配置下,元数据只能在某一时刻被某一用户访问。

元数据可以存储在任何支持JPOX的数据库中。

#DML 操作# Hive DML 操作文档在 Hive Data Manipulation Language.

从平面文件加载数据到Hive:

hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

加载一个包含两个列的使用ctrl-a分割的文件到表pokes。'LOCAL'标志着这里的输入文件在本地文件系统上,如果“LOCAL‘缺省将会在HDFS上寻找文件。

关键字'OVERWRITE'标志着这个表中已存在的数据会被删除。如果“OVERWRITE”缺省,数据文件将会追加到已存在的数据集。

注意:

  • NO verification of data against the schema is performed by the load command.

  • If the file is in hdfs, it is moved into the Hive-controlled file system namespace. The root of the Hive directory is specified by the option hive.metastore.warehouse.dir in hive-default.xml. We advise users to create this directory before trying to create tables via Hive.

hive> LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15'); hive> LOAD DATA LOCAL INPATH './examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');

上面的两个加载语句加载数据到表invites的两个不同的分区。表invites必须在创建时使用key ds分区,是这个操作能够成功。

hive> LOAD DATA INPATH '/user/myname/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');

上面的命令将加载HDFS file/directory 上的数据到表中。

注意从HDFS上加载数据将导致移动 file/directory。作为结果,这个操作几乎时瞬时的。

#SQL 操作# Hive查询操作文档记录在Select.

##查询示例## 下面是一些查询的展示,他们可以在build/dist/examples/queries找到。

更多的例子可以在Hive源码的ql/src/test/queries/positive找到。

##SELECT 和FILTERS##

hive> SELECT a.foo FROM invites a WHERE a.ds='2008-08-15';

查询表invites中分区ds=2008-08-15列名为foo的所有行。查询结果并不存储在任何地方,只是显示在控制台上。

注意下面所有的例子中,INSERT(到一个Hive表,本地目录,HDFS目录)是可选的。

hive> INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM invites a WHERE a.ds='2008-08-15';

查询invites表中分区ds=2008-08-15的所有行存储到一个HDFS目录。查询结果存储在这个目录下的文件(依赖于mapper的数量)中。

注意:partition columns if any are selected by the use of *. They can also be specified in the projection clauses. Partitioned tables must always have a partition selected in the WHERE clause of the statement.

hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/local_out' SELECT a.* FROM pokes a;

查询表pokes中的所有行存到一个本地目录。

hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a;
  hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a WHERE a.key < 100;
  hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a;
  hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_4' select a.invites, a.pokes FROM profiles a;
  hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_5' SELECT COUNT(*) FROM invites a WHERE a.ds='2008-08-15';
  hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_5' SELECT a.foo, a.bar FROM invites a;
  hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/sum' SELECT SUM(a.pc) FROM pc1 a;

查询列数的和,平均值,最小值,最大值同样可以使用。注意旧版本的Hive,不包括在HIVE-287中的,你需要使用COUNT(1)替换COUNT(*)。

##GROUP BY##

 hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;
 ive> INSERT OVERWRITE TABLE events SELECT a.bar, count(*) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;

注意旧版本的Hive,不包括在HIVE-287中的,你需要使用COUNT(1)替换COUNT(*)。

##JOIN##

hive> FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) INSERT OVERWRITE TABLE events SELECT t1.bar, t1.foo, t2.foo;

##MULTITABLE INSERT##

  FROM src
  INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100
  INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200
  INSERT OVERWRITE TABLE dest3 PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 and src.key < 300
  INSERT OVERWRITE LOCAL DIRECTORY '/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;

##STREAMING##

hive> FROM invites a INSERT OVERWRITE TABLE events SELECT TRANSFORM(a.foo, a.bar) AS (oof, rab) USING '/bin/cat' WHERE a.ds > '2008-08-09';

这个通过脚本/bin/cat(类似Hadoop streaming)在map阶段流失化数据。

类似的——流可以在reduce时使用(查看Hive Tutorial例子)。

#简单的使用案例#

##MovieLens 用户评分## 首先,创建一个制表符分割的文本文件格式的表格。

CREATE TABLE u_data (
  userid INT,
  movieid INT,
  rating INT,
  unixtime STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

然后,在GroupLens datasets页面(其中也有一个README.txt文件和未解压文件的索引)从MovieLens 100k下载数据文件。

wget http://files.grouplens.org/datasets/movielens/ml-100k.zip

或者:

curl --remote-name http://files.grouplens.org/datasets/movielens/ml-100k.zip

注意:如果这个链接GroupLens datasets不可用,请在[HIVE-5341]报告这个问题,或者发送一个消息给user@hive.apache.org 邮件组.

解压这个数据文件:

unzip ml-100k.zip

加载数据u.data到刚才创建的表中:

LOAD DATA LOCAL INPATH '<path>/u.data' OVERWRITE INTO TABLE u_data;

计算表u_data的行数:

SELECT COUNT(*) FROM u_data;

注意旧版本的Hive,不包括HIVE-287,你需要使用COUNT(1)替换COUNT(*)。

现在我们可以在表u_data上面做些复杂的分析:

创建weekday_mapper.py

import sys
import datetime

for line in sys.stdin:
  line = line.strip()
  userid, movieid, rating, unixtime = line.split('\t')
  weekday = datetime.datetime.fromtimestamp(floa(unixtime)).isoweekday()
  print '\t'.join([userid, movieid, rating, str(weekday)])

使用这个mapper脚本:

CREATE TABLE u_data_new (
  userid INT,
  movieid INT,
  rating INT,
  weekday INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';

add FILE weekday_mapper.py;

INSERT OVERWRITE TABLE u_data_new
SELECT
  TRANSFORM (userid, movieid, rating, unixtime)
  USING 'python weekday_mapper.py'
  AS (userid, movieid, rating, weekday)
FROM u_data;

SELECT weekday, COUNT(*)
FROM u_data_new
GROUP BY weekday;

注意如果你使用Hive0.5.0或者之前的版本,你需要使用COUNT(1)替换COUNT(*)。

##Apache Weblog 数据## Apache weblog的格式是可以定制的。但是大多数web管理员都使用默认的(配置)。

对于默认的Apache weblog,我们可以通过下面的命令创建一个表。

更多关于RegexSerDe的信息可以在HIVE-662 和HIVE-1719 找到。

CREATE TABLE apachelog (
  host STRING,
  identity STRING,
  user STRING,
  time STRING,
  request STRING,
  status STRING,
  size STRING,
  referer STRING,
  agent STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^]*) ([^]*) ([^]*) (-|\\[^\\]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?"
)
STORED AS TEXTFILE;

感谢你能够认真阅读完这篇文章,希望小编分享的“Hive怎么用”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI