千家信息网

hadoop2.5.2的安装过程

发表于:2026-11-03 作者:千家信息网编辑
千家信息网最后更新 2026年11月03日,本篇内容介绍了"hadoop2.5.2的安装过程"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!安装之
千家信息网最后更新 2026年11月03日hadoop2.5.2的安装过程

本篇内容介绍了"hadoop2.5.2的安装过程"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

安装之前,想好自己的安装顺序,我的安装顺序

1 确定安装集群的数量和namenode,datanode分配,然后修改对应的osts配置文件

2 让集群之间实现ssh无密码登陆(hadoop集群中,namenode节点需要能够ssh无密码访问datanode节点)

3 配置详细环境,主要为jdk包和hadoop包

本章主要介绍安装过程,详细的配置文档请点击 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
192.168.1.100 nameNode
192.168.1.101 dataNode1
192.168.1.102 dataNode2
将集群中的机器添加到hosts中

2 实现SSH无密码验证配置
注:1 hadoop 集群中,nameNode节点,需要能够ssh 无密码访问dataNode节点
2 多台机器需要重复操作 2),3) ,4)过程
1)首先 nameNode节点生成公钥
输入: ssh-keygen -t rsa
生成过程中有三次要求回车(基本全部回车不用设置)
1 采用默认文件保存钥匙
2 键入密码短语,如果建立至少5个字符
3 重复密码短语
2)将生成的密钥拷贝到daataNode节点中(如果是非root用户,就是/home下该用户的主目录)
输入: cd /root/.ssh
scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
中间要求输入对应机器的密码,输入就行
3)检查datanode机器authorized_keys的权限,确保为644(-rw-r--r--),如果不是,则修改权限,命令如下 chmod 644 authorized_keys
4)测试 ssh 192.168.1.101

3 安装Jdk
1) 这是格式为.bin的jdk
jdk-6u45-linux-i586.bin复制到/usr/java文件夹下,在/usr/java文件夹下执行./jdk-6u45-linux-i586.bin
2) 常见安装包为 jdk-7-linux-i586.tar.gz
tar zvxf jdk-7-linux-i586.tar.gz /usr/java

打开/etc/profile,在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_23
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
可以执行source profile(在/etc/文件夹下)快速生效
输入java -version测试

4 安装hadoop
hadoop-2.5.2
同jdk安装,将下载好的hadoop压缩包解压
例:tar -zxvf hadoop-2.5.2.tar.gz /home/hadoop
同样在环境变量文件中添加对应的环境变量
打开/etc/profile,在文件最后添加
###set hadoop_env
export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"

执行source profile(在/etc/文件夹下)快速生效

5 配置hadoop需要的配置文件

详情请看 http://my.oschina.net/u/259463/blog/514008

5 用scp 命令将hadoop文件夹拷贝到所有的节点机器相同路径上。

例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop

-r 为文件夹里面所有文件 root为复制电脑的用户名,后面接的为IP请见上面hosts配置文件,后面跟的是复制到的路径

6 要确认防火墙的配置,或者直接关闭

/etc/init.d/iptables status 本次关闭为 /etc/init.d/iptables stop 其他请百度

7 启动测试

先格式化 namenode 方法为: ./bin/hadoop namenode -format

如果格式化因为其他问题报错,或者不是第一次格式化 请将core-site.xml 配置文件中hadoop.tmp.dir tmp文件夹删除。

如果输出出现(基本倒数几行里面) : /hadoop-2.5.2/hdfs/name has been successfully formatted 说明成功,报错就需要自己百度google查找问题

8 然后将hdfs yarn启动

sbin/start-dfs.sh
sbin/start-yarn.sh

9 启动成功后 可进行浏览器访问

http://192.168.1.100:50070/

http://192.168.1.100:8088/ 都没有问题就说明hadoop和jdk安装成功。。然后开搞吧

"hadoop2.5.2的安装过程"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!

文件 配置 密码 文件夹 节点 过程 机器 集群 输入 格式 成功 环境 用户 问题 测试 生成 内容 变量 命令 拷贝 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 A股互联网金融科技公司 圆梦互联网科技 港股互联网科技股 百单互联网科技有限公司 壕鑫互联网络科技 火传媒上海互联网科技 互联网科技大会案例 盛创互联网科技有限公司 深圳市运趣互联网科技有限公司 宁波青枫互联网科技有限公司 央行互联网金融科技公司 厦门比较好的科技互联网公司 互联网科技扶贫时间 互联网公司黑科技创始人 广州新华互联网科技学校电竞方面 山东子淼互联网科技有限公司 互联网企业科技类企业如何做账 西安有哪些互联网高科技企业 广西科技产业互联网是什么 宁波允成互联网科技有限公司 互联网科技有限公司图片 科技制造互联网公司 互联网软件和科技 港股科技和互联网 互联网还是高科技吗 厦门千工互联网科技有限公司 江阴互联网智能科技产品进口 互联网硬科技公司 湖北辰鑫科技互联网 互联网对科技影响
0