hive执行spark任务的示例分析

这篇文章主要为大家展示了“hive执行spark任务的示例分析”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hive执行spark任务的示例分析”这篇文章吧。

public static void main(String[] args) throws Exception{
        if (args.length < 1) {
            System.err.println(" Usage: JavaWordCount <file> <savepath> ");
            System.out.println(" examle: ./bin/spark-submit  --name \"WorktrendJob\"  "+ "--master spark://192.168.0.61:7077 --executor-memory 1G  "
                   + "--class et.theme.vis.job.WorktrendJob  spark-1.jar "+ "/data/china/china.txt file:///data/china ");
            System.exit(1);
        }
        SimpleDateFormat sdf = new SimpleDateFormat( "yyyy-MM-dd" );
        DATE_MATH = sdf.format(new Date());
        System.out.println("--------****WorktrendJob*****----------------");
        System.out.println("-----------------------------------------------");
        System.out.println("-----------spark开始计算------------------------");
        //job name
        SparkConf sparkConf = new SparkConf().setAppName("MyCustomerJob");
        //spark连接
        JavaSparkContext ctx = new JavaSparkContext(sparkConf);
        //创建hive连接
        HiveContext hiveContext = new HiveContext(ctx);
        //mysql 配置
        Properties connectionProperties = new Properties();
        connectionProperties.setProperty("user", MYSQL_USER);
        connectionProperties.setProperty("", MYSQL_PASSWORD);
        //查询所有
        DataFrame queryall = queryAll(hiveContext,null);
        //注册临时表
        queryall.registerTempTable("first");
        //查询临时表计算1
        String sql = "";
        //查询 计算2
        String sql1 = "";
        //将计算结果转化DataFrame
        DataFrame sql_a = hiveContext.sql(sql);
        DataFrame sql_b = hiveContext.sql(sql1);
        // 合并2个DataFrame  相当与 left join
        DataFrame join = sql_a.join(sql_b,sql_b.col(DATE_END).equalTo(sql_a.col(DATE_END)),"left_outer");
        //在mysql建表
        sql_a.write().mode(SaveMode.Append).jdbc(MYSQL_JDBC_URL, "test", connectionProperties);
        //关闭
         ctx.stop();
    }

public static DataFrame queryAll(HiveContext hiveContext, String arg){
        String sql = "";
        DataFrame queryAll = hiveContext.sql(sql);
        //查询结果转化成RDD抽象数据集
        JavaRDD<WorktrendInfo> name = queryAll.javaRDD().map(new Function<Row, WorktrendInfo>(){

            @Override
            public WorktrendInfo call(Row v1) throws Exception {
                //将RDD抽象数据集放入vo.class
                CustomerInfo customerInfo = new CustomerInfo();
                customerInfo.setCity(v1.getString(0));
                return null;//将customerInfo返回
            }

        });
        //将结果vo转化成DataFrame ~return
        DataFrame df = hiveContext.createDataFrame(name, WorktrendInfo.class);
        return df;
        
    }

以上是“hive执行spark任务的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！