Spark集群搭建的方法
这篇文章主要介绍"Spark集群搭建的方法"，在日常操作中，相信很多人在Spark集群搭建的方法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答"Spark集群搭建的方法"的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景，包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起。
1 解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz.tgz文件上传到Linux并解压缩在指定位置
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/modulecd /opt/module mv spark-3.0.0-bin-hadoop3.2 spark-standalone
2 修改配置文件
\1) 进入解压缩后路径的conf目录，修改slaves.template文件名为slaves
mv slaves.template slaves
\2) 修改slaves文件，添加work节点
hadoop102hadoop103hadoop104
\3) 修改spark-env.sh.template文件名为spark-env.sh
mv spark-env.sh.template spark-env.sh
\4) 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
export JAVA_HOME=/opt/module/jdk1.8.0_212SPARK_MASTER_HOST=hadoop102SPARK_MASTER_PORT=7077
注意：7077端口，相当于hadoop3.x内部通信的8020端口，此处的端口需要确认自己的虚拟机配置
\5) 分发spark-standalone目录
xsync spark-standalone
3 启动集群
\1) 执行脚本命令：
sbin/start-all.sh
\2) 查看三台服务器运行进程
================hadoop102================3330 Jps3238 Worker3163 Master================hadoop103================2966 Jps2908 Worker================hadoop104================2978 Worker3036 Jps
\3) 查看Master资源监控Web UI界面: http://hadoop102:8080
4 提交应用
bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \./examples/jars/spark-examples_2.12-3.0.0.jar \10
–class表示要执行程序的主类
–master spark://hadoop102:7077 独立部署模式，连接到Spark集群
spark-examples_2.12-3.0.0.jar 运行类所在的jar包
数字10表示程序的入口参数，用于设定当前应用的任务数量
执行任务时，会产生多个Java进程
大数据Spark运行环境：Standalone模式与配置详解 执行任务时，默认采用服务器集群节点的总核数，每个节点内存1024M。
5 配置历史服务
由于spark-shell停止掉后，集群监控hadoop102:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
\1) 修改spark-defaults.conf.template文件名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
\2) 修改spark-default.conf文件，配置日志存储路径
spark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop102:8020/directory
注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。
sbin/start-dfs.shhadoop fs -mkdir /directory
\3) 修改spark-env.sh文件, 添加日志配置
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory-Dspark.history.retainedApplications=30"
注：写成一行!!空格隔开!!!
参数1含义：WEB UI访问的端口号为18080
参数2含义：指定历史服务器日志存储路径
参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
\4) 分发配置文件
xsync conf
\5) 重新启动集群和历史服务
sbin/start-all.shsbin/start-history-server.sh
\6) 重新执行任务
bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \./examples/jars/spark-examples_2.12-3.0.0.jar \10
\7) 查看历史服务：http://hadoop102:18080
6 配置高可用(HA)
所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置
集群规划:
\1) 停止集群
sbin/stop-all.sh
\2) 启动Zookeeper
\3) 修改spark-env.sh文件添加如下配置
注释如下内容：#SPARK_MASTER_HOST=hadoop102#SPARK_MASTER_PORT=7077添加如下内容:#Master监控页面默认访问端口为8080，但是会和Zookeeper冲突，所以改成8989，也可以自定义，访问UI监控页面时请注意SPARK_MASTER_WEBUI_PORT=8989export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 -Dspark.deploy.zookeeper.dir=/spark"注：写成一行!!空格隔开!!!
\4) 分发配置文件
xsync conf/
\5) 启动集群
sbin/start-all.sh
\6) 启动hadoop103的单独Master节点，此时hadoop103节点Master状态处于备用状态
[bigdata@hadoop103 spark-standalone]$ sbin/start-master.sh
\7) 提交应用到高可用集群
bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077,hadoop103:7077 \./examples/jars/spark-examples_2.12-3.0.0.jar \10
\8) 停止hadoop102的Master资源监控进程
\9) 查看hadoop103的Master 资源监控Web UI，稍等一段时间后，hadoop103节点的Master状态提升为活动状态
到此，关于"Spark集群搭建的方法"的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注网站，小编会继续努力为大家带来更多实用的文章！
