本篇文章为大家展示了Spark中怎么自定义函数，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
UDF函数
def myUdf(id: Int) = s"tag$id"
sqlContext.udf.register("myUdf", myUdf(_:Int))
df.registerTempTable("tb1")
sqlContext.sql（"select myUdf（col1） from tb1 "）
val myUdf = udf((vec: Int) => s"tag$vec")
df.withColumn("newId",myUdf($"item")).show()
spark.udf.register("myfunction", (str: String) => {
...
})SparkSessionUDF
val spark: SparkSession = SparkSession.builder().master("local")
.appName(getClass.getSimpleName)
.enableHiveSupport()
.getOrCreate()
import org.apache.spark.sql.functions._
val userData = Array(("A", 16), ("B", 21), ("C", 14), ("D", 18))
val userDF = spark.createDataFrame(userData).toDF("name", "age")
val strLen = udf((str: String) => str.length())
userDF.withColumn("name_len", strLen(col("name")))
userDF.show(false)上述内容就是Spark中怎么自定义函数，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
