温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

HIVE实现wordcount的过程

发布时间:2021-08-21 22:01:48 来源:亿速云 阅读:185 作者:chen 栏目:编程语言

这篇文章主要讲解了“HIVE实现wordcount的过程”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“HIVE实现wordcount的过程”吧!

1、建表并关联数据:
进入hive命令行:
hive
执行:
create external table wordcounts(line string) row format delimited fields terminated by '\n' stored as textfile location '/input/wordcount';

2、创建ruozedata.txt文件,并上传hdfs中的/input/wordcount目录下
vi ruozedata.txt
hello,ruoze
hello,jepsondb
hello,www.ruozedata.com
hi,man
hi,gril

上传命令:hdfs dfs -put ruozedata.txt /input/wordcount

3、进入HIVE,查询是否已经将数据关联到表中
select * from wordcounts;

4、进入HIVE,进行拆分,把每行数据拆分成单词,这里需要用到一个hive的内置表生成函数(UDTF):explode(array),参数是array,其实就是行变多列:
split是拆分函数,与java的split功能一样,这里是按照逗号拆分,再对子查询中的结果进行group by word,执行完hql语句如下:
select word, count(*) from (select explode(split(line, ",")) as word from wordcounts) t group by word;

总结:hive比较简便,对于比较复杂的统计操作可以建一些中间表。

感谢各位的阅读,以上就是“HIVE实现wordcount的过程”的内容了,经过本文的学习后,相信大家对HIVE实现wordcount的过程这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI