Spark History Server 配置部署

简介

为了可以通过WebUI控制台页面来查看具体的运行细节，解决应用程序运行结束，无法继续查看监控集群信息。无法回顾运行的程序细节，配置开启spark.history服务.Spark History Server可以很好地解决上面的问题。

配置文件位置：

$SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的，我们可以根据Spark提供的template文件新建。

配置参数描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070#spark集群的Master节点的ip地址spark.history.updateInterval#默认值：10，以秒为单位，更新日志相关信息的时间间隔spark.history.retainedApplications#默认值：50，在内存中保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，当再次访问已被删除的应用信息时需要重新构建页面。spark.history.ui.port#默认值：4040，HistoryServer的web端口spark.history.ui.acls.enable#默认值：false，授权用户查看应用程序信息的时候是否检查acl。如果启用，只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则，不做任何检查spark.eventLog.enabled #默认值：false ，是否记录Spark事件，用于应用程序在完成后重构webUIspark.eventLog.dir#默认值：file:///tmp/spark-events，保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建spark.eventLog.compress #默认值：false,是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy

本地文件存储日志配置案例：

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070spark.history.ui.port            18080spark.history.retainedApplications  10spark.eventLog.compress          truespark.eventLog.enabled           truespark.eventLog.dir               file:/data/sparkhistoryspark.history.fs.logDirectory    file:/data/sparkhistory

启动服务

$SPARK_HOME/sbin/start-history-server.sh

访问

浏览器：http://nodeIP:18080