千家信息网

China Azure 在HDinsight 中使用Spark 功能

发表于:2026-11-04 作者:千家信息网编辑
千家信息网最后更新 2026年11月04日,国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Stor
千家信息网最后更新 2026年11月04日China Azure 在HDinsight 中使用Spark 功能

国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:

那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:

  1. 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。

  2. 创建基于PAAS 层的HADOOP 集群:

    HDInsight 3.1 clusters会安装Spark 1.0.2
    HDInsight 3.2 clusters会安装Spark 1.2.0

  3. 配置集群节点和虚拟机:

  4. 配置访问用户,勾选配置Oozie云存储:

  5. 配置Oozie存储SQL Database数据库:

  6. 配置存储:

  7. 使用脚本安装Spark:


  1. 插入Spark 配置脚步:

    https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"

    最后点击"创建"按钮即可。

配置 存储 中国 数据 时候 节点 集群 支持 只有 国际 国际版 按钮 数据库 用以 用户 答案 类型 结点 脚本 脚步 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 广州大一互联网络科技有限公司 科技金融是不是互联网金融 圆梦互联网科技 互联网科技金融 壹账通互联网科技 新浪科技互联网 互联网科技的未来发展 金融科技和互联网金融 佩信高科技互联网 汉立互联网科技有限公司联系电话 青岛中康互联网医疗科技有限公司 宁夏科技产业互联网案例 福建科技产业互联网发展 昊天互联网科技有限公司 互联网在线教育科技创业 高科技互联网发展前景如何 黑科技 体验场景 互联网大会 容联科技互联网电商 陕西彩京云互联网科技有限公司 互联网科技创业有什么好项目 科技企业和互联网企业 港股互联网科技股 成都互联网科技公司 互联网金融科技委员会 厦门比较好的科技互联网公司 华夏互联网科技业 互联网金融科技名词解释 黑科技 体验场景 互联网大会 好易买互联网科技 河南商务圈互联网科技有限公司
0