如何分析spark-mlib的线性回归,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.sql.SQLContext
import org.apache.spark.ml.regression.LinearRegression
object SparkMlib {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("mlib").setMaster("local")
val context = new SparkContext(conf)
val sqlContext = new SQLContext(context)
val rdd = context.makeRDD(List((1,3,9),(2,6,18),(3,9,27),(4,12,36)))
val cols = Array("x1","x2")
val vectors = new VectorAssembler().setInputCols(cols).setOutputCol("predict")
import sqlContext.implicits._
val x = vectors.transform(rdd.toDF("x1","x2","y"))
val model = new LinearRegression()
//自变量的数据名
.setFeaturesCol("predict")
//因变量
.setLabelCol("y")
//是否有截距
.setFitIntercept(false)
//训练模型
.fit(x)
//线性回归的系数
println(model.coefficients)
//线性回归的截距
println(model.intercept)
//线性回归的自变量的个数
println(model.numFeatures)
//上面的feature列
println(model.summary.featuresCol)
//r2
println(model.summary.r2)
//平均绝对误差
println(model.summary.meanAbsoluteError)
//方差
println(model.summary.meanSquaredError)
//新的集合x1,x2 预测y
val testRdd = context.makeRDD(List((1,3),(2,6),(3,9),(4,12)))
//根据上面的模型预测结果
val testSet = vectors.transform(testRdd.toDF("x1","x2"))
val pre = model.transform(testSet)
pre.show()
//println(pre.predictions)
}
}
关于如何分析spark-mlib的线性回归问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:http://blog.itpub.net/31506529/viewspace-2221531/