温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Spark中怎么自定义函数

发布时间:2021-07-14 14:18:25 阅读:178 作者:Leah 栏目:大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

本篇文章为大家展示了Spark中怎么自定义函数,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

UDF函数

def myUdf(id: Int) = s"tag$id"
sqlContext.udf.register("myUdf"myUdf(_:Int))


df.registerTempTable("tb1")
sqlContext.sql("select myUdf(col1) from tb1 ")

val myUdf = udf((vec: Int) => s"tag$vec")
df.withColumn("newId",myUdf($"item")).show()

spark.udf.register("myfunction", (str: String) => {
...
})

SparkSessionUDF

val spark: SparkSession = SparkSession.builder().master("local")
  .appName(getClass.getSimpleName)
  .enableHiveSupport()
  .getOrCreate()
import org.apache.spark.sql.functions._
val userData = Array(("A"16), ("B"21), ("C"14), ("D"18))
val userDF = spark.createDataFrame(userData).toDF("name""age")
val strLen = udf((str: String) => str.length())

userDF.withColumn("name_len"strLen(col("name")))
userDF.show(false)

上述内容就是Spark中怎么自定义函数,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

原文链接:https://my.oschina.net/u/3209854/blog/4946657

AI

开发者交流群×