温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

China Azure 在HDinsight 中使用Spark 功能

发布时间:2020-07-03 12:52:13 来源:网络 阅读:925 作者:jeffcsc 栏目:大数据

国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:

China Azure 在HDinsight 中使用Spark 功能

那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:

  1. 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。

    China Azure 在HDinsight 中使用Spark 功能

  2. 创建基于PAAS 层的HADOOP 集群:

    HDInsight 3.1 clusters会安装Spark 1.0.2
    HDInsight 3.2 clusters会安装Spark 1.2.0

    China Azure 在HDinsight 中使用Spark 功能

  3. 配置集群节点和虚拟机:

    China Azure 在HDinsight 中使用Spark 功能

  4. 配置访问用户,勾选配置Oozie云存储:

    China Azure 在HDinsight 中使用Spark 功能

  5. 配置Oozie存储SQL Database数据库:

    China Azure 在HDinsight 中使用Spark 功能

  6. 配置存储:

    China Azure 在HDinsight 中使用Spark 功能

  7. 使用脚本安装Spark:

    China Azure 在HDinsight 中使用Spark 功能


  1. 插入Spark 配置脚步:

    https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"

    China Azure 在HDinsight 中使用Spark 功能

    最后点击"创建"按钮即可。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI