千家信息网

China Azure 在HDinsight 中使用Spark 功能

发表于:2025-12-02 作者:千家信息网编辑
千家信息网最后更新 2025年12月02日,国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Stor
千家信息网最后更新 2025年12月02日China Azure 在HDinsight 中使用Spark 功能

国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:

那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:

  1. 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。

  2. 创建基于PAAS 层的HADOOP 集群:

    HDInsight 3.1 clusters会安装Spark 1.0.2
    HDInsight 3.2 clusters会安装Spark 1.2.0

  3. 配置集群节点和虚拟机:

  4. 配置访问用户,勾选配置Oozie云存储:

  5. 配置Oozie存储SQL Database数据库:

  6. 配置存储:

  7. 使用脚本安装Spark:


  1. 插入Spark 配置脚步:

    https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"

    最后点击"创建"按钮即可。

配置 存储 中国 数据 时候 节点 集群 支持 只有 国际 国际版 按钮 数据库 用以 用户 答案 类型 结点 脚本 脚步 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 宿城区多功能网络技术 网络安全认证证书怎样生成 软件开发选外包的缺点 腾讯云2核4g服务器老是断线 战地1哪个服务器有飞机 数据库获得图片地址吗 软件开发小程序免费 软件开发者测试实例 网络安全法新增的内容 调查队 网络安全工作计划 西安有招收网络安全工程师的吗 软件开发资料整理 小鹅网络技术 背调 深圳网络安全培训老品牌 人工智能算法与神经网络技术 互联网大数据科技风 数据库怎么分离.mdf文件 附加数据库已超过锁请求超时时段 软件开发现在什么最火 华为网络安全工作内容是什么 手机任务服务器怎么找 数据库 快速读取技术 中电源国际互联网科技有限公司 安饼网络安全工作屏幕 郑州手机软件开发价钱是多少 南京林业大学网络安全中心 电厂数据库有哪些类型 ups供电服务器实现自动关机 祥云杯网络安全大赛时间 海南网络技术开发
0