maven：3.3.9
jdk:java version "1.8.0_51"
spark:spark-1.6.1.tgz
scala:2.11.7
如果scala版本是2.11.x，执行如下脚本
./dev/change-scala-version.sh 2.11
spark默认情况下用scala的2.10.5编译
mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-thriftserver -Dscala-2.11 -DskipTests clean package
运用spark-sql访问hive
计算
安全
数据库
网络和加速
企业服务
package com.infra.codelab.spark.hive
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object HiveTest {
val conf = new SparkConf()
val sc = new SparkContext(conf)
def main(args: Array[String]): Unit = {
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("SELECT line FROM filecontent ").collect().foreach(println)
}
}提交任务：
spark-submit --class com.infra.codelab.spark.hive.HiveTest --master spark://localhost:7077 /home/xiaobin/test/spark/wordcount-0.0.1-SNAPSHOT.jarspark-sql：
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/xiaobin/soft/apache-hive-0.14.0-bin/lib/mysql-connector-java-5.1.35.jarspark-sql --master spark://xiaobin:7077spark-sql> select count(*) from filecontent;
483
Time taken: 3.628 seconds, Fetched 1 row(s)亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
