温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hive怎么实现WordCount

发布时间:2021-11-15 23:49:06 来源:亿速云 阅读:201 作者:柒染 栏目:云计算

这篇文章将为大家详细讲解有关Hive怎么实现WordCount,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

1. 创建一个存放源数据的表(外部表)t_words_src, 表中字段line为string类型, 存放一行单词

源数据示列: 

hello,tom
hello,jerry
hello,kitty
hello,world
hello,tom
hive> create external table t_words_src (line string)
row format delimited
fields terminated by '\n'    # 按\n来切分字段, 一行就是一个字段
location '/wc/input';    # 源数据路径为 'hdfs://node1:9000/wc/input' 

hive> select * from t_words;
OK
hello,tom
hello,jerry
hello,kitty
hello,world
hello,tom

2. 创建一个存放所有单词的表t_words, 表中字段word为string类型, 存放单词

hive> create table t_words (word string);
hive> insert into table t_words select explode(split(line,',')) as word from t_words_src;

hive> select * from t_words;
OK
hello
tom
hello
jerry
hello
kitty
hello
world
hello
tom

3. 创建一个存放WordCount结果的表t_wc_result, 表中字段word为string类型, 存放单词, counts为int类型, 存放单词出现次数

hive> create table t_wc_result (word string, counts int);
hive> insert into table t_wc_result select word as word, count(word) as counts from t_words;

hive> select * from t_wc_result;
OK
hello	5
jerry	1
kitty	1
tom	2
world	1

相对MapReduce来说, Hive的HQL版WordCount写起来代码量少很多, 但他们的思想都是一样的

关于Hive怎么实现WordCount就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI