温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hive动态分区插入的实验步骤和总结

发布时间:2021-07-05 16:05:11 来源:亿速云 阅读:200 作者:chen 栏目:编程语言

这篇文章主要讲解了“hive动态分区插入的实验步骤和总结”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hive动态分区插入的实验步骤和总结”吧!

实验目的
1. 验证对分区表进行动态分区插入功能
2. 验证是否可以使用load进行动态分区插入

实验步骤
1. 在本地文件/home/grid/a.txt中写入以下4行数据:
aaa,US,CA
aaa,US,CB
bbb,CA,BB
bbb,CA,BC

2. 建立非分区表并加载数据
CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;  
SELECT * FROM t1;  
dfs -ls /user/hive/warehouse/test.db/t1; 
执行命令及结果如图1所示。


图1
3. 建立外部分区表并动态加载数据
CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);  
 
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
 
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
执行命令及结果如图2所示。


图2
可以看到,向内部分区表中加载了8条数据,动态建立了目录。

4. 编辑a.txt,使其有以下4行数据,然后在执行下面的命令。
aaa,US,CD
aaa,US,CE
ccc,CB,BB
ccc,CB,BC
LOAD DATA LOCAL INPATH '/home/grid/a.txt' OVERWRITE INTO TABLE t1;
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
执行命令及结果如图3所示。


图3
可以看到,现在表中有12条数据,OVERWRITE并没有覆盖原来的分区,而是追加了4条数据,并且动态建立了新的分区目录。
再次执行一次下面的命令:
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
执行命令及结果如图4所示。


图4
可以看到,现在表中还是12条数据,分区目录也没有变化。

在动态分区插入上,内外部分区表的行为相同,实验从略。

5. 使用LOAD做动态分区插入
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t2 PARTITION (country, state);
执行命令及结果如图5所示。


图5
可以看到,load命令不支持动态分区插入。

总结:
1. OVERWRITE不会删除已有的分区目录,只会追加新的分区,并覆盖已有分区的非分区数据。
2. 不能使用load进行动态分区插入

感谢各位的阅读,以上就是“hive动态分区插入的实验步骤和总结”的内容了,经过本文的学习后,相信大家对hive动态分区插入的实验步骤和总结这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI