千家信息网

ubuntu怎么搭建hadoop环境

发表于:2026-10-31 作者:千家信息网编辑
千家信息网最后更新 2026年10月31日,本篇内容介绍了"ubuntu怎么搭建hadoop环境"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!1
千家信息网最后更新 2026年10月31日ubuntu怎么搭建hadoop环境

本篇内容介绍了"ubuntu怎么搭建hadoop环境"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

1 参考博文

http://blog.sina.com.cn/s/blog_75f4e17c0101h6x4.html
http://www.cnblogs.com/end/archive/2012/08/13/2636645.html

2 安装准备

1. Ubuntu 14.04

2. JDK 版本 1.8.0_25

3. Hadoop 版本 Hadoop-2.6.0

3 安装步骤

3.1 Linux 安装

因为设备数量有限,所以在本地使用的是VMware Workstation虚拟机搭建的一个Ubuntu 32位桌面版本。网上资料很多就不多做详述,需要花费些时间。

3.2 JDK安装

3.2.1 JDK下载

本地选择的是 JDK 1.8.0_25下在地址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html

3.2.2 JDK安装

下载好后放入指定位置(如/usr/java),使用如下命令安装

tar zxvf jdk-xxx-linux-xxx.tar.gz

(参考:http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html)

3.2.3 JDK配置

1.进入/etc目录

2.将JDK配置信息加入profile文件

# The following configuration is for Javaexport JAVA_HOME=/usr/java/jdk1.8.0_25export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib

3.使用下面组合命令使配置生效

chmod +x profile (这条命令需要超级权限)

source profile

4.使用下面,验证JDK安装

java -version

如果安装版本信息显示则安装成功

3.3 Hadoop安装

3.3.1 Hadoop下载

地址为:http://www.apache.org/dyn/closer.cgi/hadoop/common/

3.3.2 Hadoop安装

将下载下来的Hadoop放入指定目录(/usr/hadoop),使用如下命令安装

tar xzf hadoop-2.6.0.tar.gz

3.3.3 Hadoop配置

1.linux profile(路径:/etc)配置,如下图

# The following configuration is for hadoopexport HADOOP_INSTALL=/usr/hadoop/hadoop-2.6.0export PATH=$PATH:$HADOOP_INSTALL/bin

2.hadoop-env.sh(路径:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安装根目录,如下

# The java implementation to use.export JAVA_HOME=/usr/java/jdk1.8.0_25

3.yarn-env.sh(路径:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安装根目录,如下

# some Java parameters exportJAVA_HOME=/usr/java/jdk1.8.0_25

4.打开conf/core-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:

                  fs.default.name      hdfs://localhost:9000          

5.打开conf/mapred-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:

                                  mapred.job.tracker          localhost:9001                  

6.打开conf/hdfs-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:

    dfs.name.dir  /usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2      dfs.data.dir  /usr/local/hadoop/data1,/usr/local/hadoop/data2      dfs.replication  2    

4 Hadoop启动

新版本启动命令Apache推荐使用下面两个命令

先进入$HADOOP_HOME/sbin下

1 ./start-dfs.sh

2 ./start-yarn.sh

另 ./start-all.sh依然可以使用,只是会提示"不推荐使用",他内部分自动导向上面两个shell脚本

启动后如输入jps可以看下图信息,可以发现和1.x版本的区别,没有了JobTracker和TaskTracker,由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的脚本!

若执行jps后存在如下五个服务,说明hadoop单机环境配置成功。

5 测试安装

Hadoop自带服务测试

5.1 验证1

启动完后,可用jps查看,可看到两个服务己经启动

启动WebAppProxyServer服务,在命令行输入如下命令:

$HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR

启动JobHistoryServer服务,在命令行输入如下命令:

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR

5.2 验证2

启动完后可以使用下面三个连接进行查看

a.http://host:50070/dfshealth.jsp 打开NameNode web界面

b.http://host:19888/jobhistory 打开JobHistory web界面

c.http://host:8088/cluster 打开cluster web界面

5.3 验证3

启动Hadoop自带的map reduce程序

进入 $ HADOOP_HOME/share/hadoop/mapreduce输入下面命令

hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 10 100

如果正常运行结束则OK

"ubuntu怎么搭建hadoop环境"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!

命令 路径 配置 版本 服务 文件 输入 验证 环境 两个 信息 界面 成功 内容 地址 指向 更多 根目录 目录 知识 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 互联网与科技 深圳市人人互联网科技有限公司 互联网科技公司的优势 盈实互联网科技 互联网下的科技发展 广西互联网科技公司 互联网科技视频素材 重庆科技学院互联网 安控科技rtu产品工业互联网 温州喔噻互联网科技有限公司 玉溪互联网科技怎么选 开一家科技互联网公司需要多少钱 广州新华互联网科技学校电竞方面 高科技互联网发展前景如何 长沙茂晟互联网科技有限公司 合肥互联网科技公司公章图片 银行科技岗属于互联网吗 宇信科技在杭州互联网排第几 互联网科技企业商标注意事项 互联网的黑科技实验室 万易互联网科技有限公司 睿民互联网科技 互联网 视角下的科技创新 互联网科技与大数据专业 开一家科技互联网公司需要多少钱 科技互联网海报 互联网金融科技公司的优势 西安左小互联网科技有限公司 银川新华互联网科技学校原画 互联网大会出现的黑科技
0