本篇内容介绍了“spark怎么通过jdbc方式连接关系型数据库”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
计算
安全
数据库
网络和加速
企业服务
val sparkSession = SparkSession.builder().appName("findIPRel").getOrCreate() val jdbcDF = sparkSession.read
.format("jdbc")
.option("driver", "org.postgresql.Driver") //必须添加
.option("url", "jdbc:postgresql://121.36.61.51:5432/xsbigdatadb")
.option("dbtable", "ods_proto_log")
.option("user", "postgres")
.option("password", "root@456")
.load()其中需要注意的是一定要加上对driver选项的指定，否则就算你的类路径中含有对应数据库的jdbc包，也会报找不到合适的驱动的错误。
val ori = jdbcDF.select("srcip","dstip").rdd.map{
case Row(col1:String,col2:String) => (col1,col2)
case _ =>(srcIp,srcIp)
}maven中添加pg数据库的jdbc报的依赖
<dependency>
<groupId>org.postgresql</groupId>
<artifactId>postgresql</artifactId>
<version>42.2.18</version>
</dependency>spark提交指定依赖jar包 在提交命令中加上--jars选项，例如spark-submit --class com.pxu.spark.core.FindIpRel --jars ./postgresql-42.2.18.jar --master spark://master:7077 ./sparkLearn-1.0-SNAPSHOT-jar-with-dependencies.jar 192.168.14.17 192.168.73.58 4 hdfs://master:9000/submitTest/output/out3
“spark怎么通过jdbc方式连接关系型数据库”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！
亿速云「云数据库 MySQL」免部署即开即用，比自行安装部署数据库高出1倍以上的性能，双节点冗余防止单节点故障，数据自动定期备份随时恢复。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://my.oschina.net/u/4489002/blog/4941980
