千家信息网

centos6.5安装hadoop集群

发表于:2026-11-03 作者:千家信息网编辑
千家信息网最后更新 2026年11月03日,环境准备:4台机器192.168.217.174 node1 -----namenode192.168.217.175 node2 -----secondary namenode192.168.217
千家信息网最后更新 2026年11月03日centos6.5安装hadoop集群

环境准备:4台机器

192.168.217.174 node1 -----namenode

192.168.217.175 node2 -----secondary namenode

192.168.217.176 node3 -----datanode

192.168.217.177 node4 -----datanode

1. 4台机器免密码登录

1.1-先在node1机器上做免密码

在每天机器vim /etc/hosts中互相添加对方的ip和机器名

192.168.217.174 node1

192.168.217.175 node2

192.168.217.176 node3

192.168.217.177 node4

#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 1. 注:生成密钥

#cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys 2.注:密钥写入认证机制

1.2-其他3台机器做免密码

把在node1机器生成的公钥拷贝到其他3台机器,最后在放入每天机器的认证机制

#scp ./id_dsa.pub root@node(2,3,4):/opt/ #在node1上操作

#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #3台机器都执行这条命令

#cat/opt/id_dsa.pub >> ~/.ssh/authorized_keys #3台机器都执行这条命令

拷贝遇到问题:

bash: scp:command not found #yum install openssh-clients 4台都装

2.开始安装

2.1-安装JDK:------------4台都安装

#上传jdk-7u79-linux-x64.rpm到/home目录

#rpm -ivh jdk-7u79-linux-x64.rpm

#cd /home/hadoop-2.5.1

# vim~/.bash_profile 添加环境变量

export PATH

export JAVA_HOME=/usr/java/jdk1.7.0_79

exportPATH=$PATH:$JAVA_HOME/bin

exportHADOOP_HOME=/home/hadoop-2.5.1

exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# source ~/.bash_profile


2.2-安装hadoop

#上传hadoop-2.5.1_x64.tar.gz到/home目录 【在node1操作】

#tar zxvfhadoop-2.5.1_x64.tar.gz

#vim /home/hadoop-2.5.1/etc/hadoop/hadoop-env.sh #namenode主机名

exportJAVA_HOME=/usr/java/jdk1.7.0_79/ (添加)

#vim /home/hadoop-2.5.1/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://node1:9000 # namenode数据上传的主机及端口

hadoop.tmp.dir

/opt/hadoop-2.5 # 保存的路径

#vim /home/hadoop-2.5.1/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address

node2:50090 #secondary namenode

dfs.namenode.secondary.https-address

node2:50091

#vim /home/hadoop-2.5.1/etc/hadoop/slaves # 配置datanode主机名

node2

node3

node4

#vim masters # 创建配置secondary namenode主机名

node2

#rm -rf hadoop-2.5.1/share/doc/ 删除这个目录方便拷贝给其他机器

2.3-拷贝给其他机器

在/home目录下

#scp -r hadoop-2.5.1 root@node(234):/home/

在/home/hadoop-2.5.1

# scp~/.bash_profile root@node(234):/root/

启动之前先格式化hdfs文件系统

# hdfs namenode-format 只能在指定的namenode(node1)机器上用


#start-dfs.sh 在任何目录下都可以启动


浏览器访问:192.168.217.174:50070

(如果不能打开,就关闭防火墙# serviceiptables stop)

到此,hadoop集群安装完毕


机器 目录 主机 拷贝 密码 命令 密钥 机制 环境 生成 认证 配置 集群 公钥 变量 对方 数据 文件 格式 浏览器 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 科技互联网企业 互联网科技有限公司经营范围 互联网科技垄断 互联网的科技创新 青岛互联网科技公司 互联网 的科技创新 互联网金融科技创新 时间互联网络科技 无锡溥仪互联网科技有限公司 互联网巨头投资的硬核科技 济南华为互联网科技产业总部基地 互联网科技商业 群盈汇互联网科技有限公司 每天都有哪些好的互联网科技 陕西云淼互联网科技公司 艺电能源互联网科技有限公司招聘 唯美互联网科技 科技互联网公司两年变化 东风日产互联网科技公司叫什么 互联网的黑科技实验室 西安纸贵互联网科技有限公司 互联网科技公司官网 狮子座互联网科技有限公司 荆州市昕露互联网络科技有限公司 亳州好赞互联网科技有限公司 996高科技互联网公司 互联网时代科技型公司的机会 米泉互联网科技专业怎么样 三亚科技创新互联网基地 河南商务圈互联网科技有限公司
0