温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何进行spark SQL编程动手实战

发布时间:2021-12-16 22:03:39 阅读:140 作者:柒染 栏目:云计算
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

如何进行spark SQL编程动手实战,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

首先创建SparkContext上下文:

如何进行spark SQL编程动手实战

接着引入隐身转换,用于把RDD转成SchemaRDD:

如何进行spark SQL编程动手实战

接下来要加载数据,这里的测试数据是user.txt文件:

我们创建好use.txt增加内容并上传到hdfs中:

如何进行spark SQL编程动手实战

hdfs命令查询:

如何进行spark SQL编程动手实战

验证数据是否加载成功:

如何进行spark SQL编程动手实战

此刻user还是一个MappedRDD:

如何进行spark SQL编程动手实战

此刻的teenagers已经隐身转换成SchemaRDD

如何进行spark SQL编程动手实战

结果:

如何进行spark SQL编程动手实战

同样使用"user.txt"的数据:

如何进行spark SQL编程动手实战

我们这次直接使用SQL查询操作:

如何进行spark SQL编程动手实战

可以发现使用DSL的使用teenagers在内部已经被隐身转换了SchemaRDD的实例

可以发现与前面那张注册Table方式的结果是一样的

看完上述内容,你们掌握如何进行spark SQL编程动手实战的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/ghostmanyue/blog/381397

AI

开发者交流群×