如何搭建spark集群

这篇文章主要介绍"如何搭建spark集群 "，在日常操作中，相信很多人在如何搭建spark集群 问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答"如何搭建spark集群 "的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

配置linux

安装epel

CentOS6.5下添加epel源时间:2014-09-20 01:46来源:cnblogs 作者:天生我材有P用 举报 点击:22665次0.安装yum优先级插件yum install yum-priorities1.epel简介: https://fedoraproject.org/wiki/EPEL/zh-cnrpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpmrpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm以上URL请按实际情况修改2.查看是否安装成功rpm -q epel-release 3.导入key：rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-64.修改/etc/yum.repos.d/epel.repo文件在[epel]最后添加一条属性 priority=11vi /etc/yum.repos.d/epel.repo意思是yum先去官方源查，官方没有再去epel的源找5.重建缓存yum makecache

配置环境

scp root@10.10.11.191:/root/Download/jdk.tar.gz jdk.tar.gzscp root@10.10.11.191:/root/Download/apache-maven-3.3.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gzscp root@10.10.11.191:/root/Download/spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgzvi /etc/profile+++JAVA_HOME=/opt/env/jdk1.7.0_79MAVEN_HOME=/opt/env/maven-3.3.9CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATHexport JAVA_HOMEexport CLASSPATH:wqsource /etc/profilevi /etc/hosts10.10.11.191    spark.env:wqssh-keygen -t rsatouch /root/.ssh/authorized_keyschmod 600 ~/.ssh/authorized_keys./sbin/start-slave.sh spark://spark.env:7077

到此，关于"如何搭建spark集群 "的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注网站，小编会继续努力为大家带来更多实用的文章！