这篇文章将为大家详细讲解有关spark如何写入hive数据，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
计算
安全
数据库
网络和加速
企业服务
package hgs.spark.hive
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql.types.StructField
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.types.IntegerType
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.Row
object WriteDatatoHive {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("WriteDatatoHive").setMaster("local")
val context = new SparkContext(conf)
val rdd = context.parallelize(List(("wd",22),("cm",25)), 2).map(x=>Row(x._1,x._2))
val builder = SparkSession.builder()
.appName("hiveApp")
.config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/")
.enableHiveSupport()
.getOrCreate()
//import builder.implicits._
import builder.implicits._
val personShcema = StructType(
List(
//下面为一个列的描述，分别为 列名，数据类型，是否为空
StructField("name",StringType,true),
StructField("age",IntegerType,true)
)
)
val personDF = builder.createDataFrame(rdd, personShcema)
personDF.createOrReplaceTempView("personm")
//这个可以存储数据与hiveSQL兼容
builder.table("personm").write.insertInto("test.person")
//builder.sql("select * from personm").write.option("spark.sql.hive.convertMetastoreParquet", false)
//.mode(SaveMode.Append).saveAsTable("test.person")
context.stop()
}
}
case class person(name:String,age:Int)关于“spark如何写入hive数据”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：http://blog.itpub.net/31506529/viewspace-2640728/
