How to install Hadoop 2.7.3 cluster on CentOS 7.3
发表于:2026-10-31 作者:千家信息网编辑
千家信息网最后更新 2026年10月31日,##############################ENV#spark01 192.168.51.6#spark02 192.168.51.18#spark03 192.168.51.19#s
千家信息网最后更新 2026年10月31日How to install Hadoop 2.7.3 cluster on CentOS 7.3
##############################ENV#spark01 192.168.51.6#spark02 192.168.51.18#spark03 192.168.51.19#spark04 192.168.51.21#spark05 192.168.51.24##############################We must to improve file limits on every nodesecho "ulimit -SHn 204800" >> /etc/rc.localecho "ulimit -SHu 204800" >> /etc/rc.localcat >> /etc/security/limits.conf << EOF* soft nofile 204800* hard nofile 204800* soft nproc 204800* hard nproc 204800EOF##We must to disable ipv6 on every nodesecho 'net.ipv6.conf.all.disable_ipv6 = 1'>>/etc/sysctl.confecho 'net.ipv6.conf.default.disable_ipv6 = 1' >>/etc/sysctl.confecho 'vm.swappiness = 0' >> /etc/sysctl.confsysctl -pecho 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.localchmod +x /etc/rc.d/rc.local#1)Edit /etc/hosts file on every nodescat >/etc/hosts<>/etc/sudoers#4)set permission with opt directory on every nodeschown -R hadoop.hadoop /opt/#5)Set up key-based (passwordless) login:#just do it no spark01su - hadoopssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark01ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark02ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark03ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark04ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark05#6)install hadoop on spark01 and propagate /opt/hadoop2.7.3 to other nodes:cd /home/toolssudo wget http://god.nongdingbang.net/downloads/hadoop-2.7.3.tar.gzsudo tar zxvf hadoop-2.7.3.tar.gz -C /opt/sudo chown -R hadoop.hadoop /opt/hadoop-2.7.3scp -r /opt/hadoop-2.7.3 hadoop@spark02:/optscp -r /opt/hadoop-2.7.3 hadoop@spark03:/optscp -r /opt/hadoop-2.7.3 hadoop@spark04:/optscp -r /opt/hadoop-2.7.3 hadoop@spark05:/opt#7)Edit this file on every nodessudo su -cat >/etc/profile.d/hadoop.sh < /opt/hadoop-2.7.3/etc/hadoop/core-site.xml< fs.defaultFS hdfs://spark01:9000 io.file.buffer.size 131072 hadoop.tmp.dir /opt/hadoop-2.7.3/tmp/ hadoop.proxyuser.hadoop.hosts * EOF#9)Create HDFS DataNode data dirs on every node and change ownershipmkdir -p /opt/storage/{datanode,namenode}chown -R hadoop.hadoop /opt/storage#10)Edit /opt/hadoop/etc/hadoop/hdfs-site.xml on every nodes- set up DataNodes:###############################################cat >/opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml< hadoop.proxyuser.hadoop.groups * dfs.replication 3 dfs.permissions false dfs.datanode.data.dir /opt/storage/datanode dfs.namenode.data.dir /opt/storage/namenode dfs.secondary.http.address spark01:50090 dfs.namenode.http-address spark01:50070 EOF#11)Edit /opt/hadoop/etc/hadoop/mapred-site.xml on spark01.#################################################################cat > /opt/hadoop-2.7.3/etc/hadoop/mapred-site.xml < dfs.webhdfs.enabled true mapreduce.framework.name yarn mapreduce.jobhistory.address spark01:10020 EOF#12)setup ResourceManager on spark01 and NodeManagers on spark02-05#########################################################################cat >/opt/hadoop-2.7.3/etc/hadoop/yarn-site.xml< mapreduce.jobhistory.webapp.address spark01:19888 yarn.resourcemanager.hostname spark01 yarn.nodemanager.hostname.nm1 spark02 yarn.nodemanager.hostname.nm2 spark03 yarn.nodemanager.hostname.nm3 spark04 yarn.nodemanager.hostname.nm4 spark05 EOF#13)Edit /opt/hadoop-2.7.3/etc/hadoop/slaves on spark01##(so that master may start all necessary services on slaves automagically):###############################################################cat >/opt/hadoop-2.7.3/etc/hadoop/slaves< yarn.nodemanager.aux-services mapreduce_shuffle /etc/yum.repos.d/apache-maven.repo <
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
北京路客互联网科技有限公司
艾特科技互联网
互联网科技论坛
互联网科技教育视频
中化能源互联网科技招聘
互联网科技创新服务
互联网金融中的现代科技
武汉健翔互联网络科技有限公司
中国航天科技大学国际工业互联网
青岛科技大学互联网大赛研究生
互联网公司黑科技创始人
洛阳共同富裕互联网科技有限公司
互联网科技和法律行业
怎样加入科技互联网
银行科技岗属于互联网吗
深圳无忧互联网科技
皮皮虾互联网科技有限公司
有人说阿里系是互联网科技企业
宁波跨境商互联网科技有限公司
华人运通互联网科技公司
互联网科技博客
盛创互联网科技有限公司
岳阳华臻互联网科技有限公司
互联网科技和信息
深圳育鹏互联网科技有限公司招聘
国大互联网教育科技有限公司工作
乌苏新华互联网科技做什么的
银行科技岗属于互联网吗
广州百诚互联网科技有限公司官网
求路客互联网科技电话