How to install Hadoop 2.7.3 cluster on CentOS 7.3
发表于:2025-12-01 作者:千家信息网编辑
千家信息网最后更新 2025年12月01日,##############################ENV#spark01 192.168.51.6#spark02 192.168.51.18#spark03 192.168.51.19#s
千家信息网最后更新 2025年12月01日How to install Hadoop 2.7.3 cluster on CentOS 7.3
##############################ENV#spark01 192.168.51.6#spark02 192.168.51.18#spark03 192.168.51.19#spark04 192.168.51.21#spark05 192.168.51.24##############################We must to improve file limits on every nodesecho "ulimit -SHn 204800" >> /etc/rc.localecho "ulimit -SHu 204800" >> /etc/rc.localcat >> /etc/security/limits.conf << EOF* soft nofile 204800* hard nofile 204800* soft nproc 204800* hard nproc 204800EOF##We must to disable ipv6 on every nodesecho 'net.ipv6.conf.all.disable_ipv6 = 1'>>/etc/sysctl.confecho 'net.ipv6.conf.default.disable_ipv6 = 1' >>/etc/sysctl.confecho 'vm.swappiness = 0' >> /etc/sysctl.confsysctl -pecho 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.localchmod +x /etc/rc.d/rc.local#1)Edit /etc/hosts file on every nodescat >/etc/hosts<>/etc/sudoers#4)set permission with opt directory on every nodeschown -R hadoop.hadoop /opt/#5)Set up key-based (passwordless) login:#just do it no spark01su - hadoopssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark01ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark02ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark03ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark04ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@spark05#6)install hadoop on spark01 and propagate /opt/hadoop2.7.3 to other nodes:cd /home/toolssudo wget http://god.nongdingbang.net/downloads/hadoop-2.7.3.tar.gzsudo tar zxvf hadoop-2.7.3.tar.gz -C /opt/sudo chown -R hadoop.hadoop /opt/hadoop-2.7.3scp -r /opt/hadoop-2.7.3 hadoop@spark02:/optscp -r /opt/hadoop-2.7.3 hadoop@spark03:/optscp -r /opt/hadoop-2.7.3 hadoop@spark04:/optscp -r /opt/hadoop-2.7.3 hadoop@spark05:/opt#7)Edit this file on every nodessudo su -cat >/etc/profile.d/hadoop.sh < /opt/hadoop-2.7.3/etc/hadoop/core-site.xml< fs.defaultFS hdfs://spark01:9000 io.file.buffer.size 131072 hadoop.tmp.dir /opt/hadoop-2.7.3/tmp/ hadoop.proxyuser.hadoop.hosts * EOF#9)Create HDFS DataNode data dirs on every node and change ownershipmkdir -p /opt/storage/{datanode,namenode}chown -R hadoop.hadoop /opt/storage#10)Edit /opt/hadoop/etc/hadoop/hdfs-site.xml on every nodes- set up DataNodes:###############################################cat >/opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml< hadoop.proxyuser.hadoop.groups * dfs.replication 3 dfs.permissions false dfs.datanode.data.dir /opt/storage/datanode dfs.namenode.data.dir /opt/storage/namenode dfs.secondary.http.address spark01:50090 dfs.namenode.http-address spark01:50070 EOF#11)Edit /opt/hadoop/etc/hadoop/mapred-site.xml on spark01.#################################################################cat > /opt/hadoop-2.7.3/etc/hadoop/mapred-site.xml < dfs.webhdfs.enabled true mapreduce.framework.name yarn mapreduce.jobhistory.address spark01:10020 EOF#12)setup ResourceManager on spark01 and NodeManagers on spark02-05#########################################################################cat >/opt/hadoop-2.7.3/etc/hadoop/yarn-site.xml< mapreduce.jobhistory.webapp.address spark01:19888 yarn.resourcemanager.hostname spark01 yarn.nodemanager.hostname.nm1 spark02 yarn.nodemanager.hostname.nm2 spark03 yarn.nodemanager.hostname.nm3 spark04 yarn.nodemanager.hostname.nm4 spark05 EOF#13)Edit /opt/hadoop-2.7.3/etc/hadoop/slaves on spark01##(so that master may start all necessary services on slaves automagically):###############################################################cat >/opt/hadoop-2.7.3/etc/hadoop/slaves< yarn.nodemanager.aux-services mapreduce_shuffle /etc/yum.repos.d/apache-maven.repo <
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
qq邮箱pop服务器怎么填写
cbm数据库基本检索设置
联想服务器硬盘怎么格式化
科技互联网大叔
无线网络提示存在网络安全
服务器管理员是干嘛得
网络安全心得体会简语
富国互联网科技基金
lol数据库技术控
东港天气预报软件开发
为什么小公司需要服务器
OA数据连接erp数据库
在软件开发中pte是什么意思
日照网络技术有限公司
伊甸园的骄傲分服务器吗
APP软件网络安全风险管理
第八届网络安全应急支撑单位
郑大一附院网络安全事件
前段软件开发要学什么
游戏搜索软件开发
sql连接数据库注册驱动
数据库实习生在上海工资
西昌网络安全审计
学生了解网络安全的意义
广州廷宝互联网科技有限公司
安全数据库的作用
sql正在使用的数据库停用
为什么小公司需要服务器
APP软件网络安全风险管理
哪个香港代理服务器比较好