导航：首页 > 服务器 >

hadoop伪集群怎么搭建

发表于：2026-11-02 作者：千家信息网编辑

千家信息网最后更新 2026年11月02日，小编给大家分享一下hadoop伪集群怎么搭建，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！准备工作：1、笔记本4G内存，

千家信息网最后更新 2026年11月02日hadoop伪集群怎么搭建

小编给大家分享一下hadoop伪集群怎么搭建，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

准备工作：

1、笔记本4G内存，操作系统WIN7

2、工具：VMware Workstation

3、虚拟机：CentOS6.5（64位）共3台，一个master，两个slave，

安装好一个主机master的CentOS系统， 1、系统环境设置（先配置master节点）

1.1 修改主机名

vim /etc/sysconfig/network

NETWORKING=yes HOSTNAME=master NTPSERVERARGS=iburst

1.2 修改主机名和IP的映射关系（hosts）

vim /etc/hosts

添加：192.168.111.131 master

1.3 关闭防火墙

service iptables status //查看防火墙的状态

service iptables stop //关闭防火墙

chkconfig iptables --list //查看防火墙开机启动状态

chkconfig iptables off //关闭防火墙开机启动

1.4 重启系统

#reboot 2.安装jdk

1、下载jdk，地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2、上传到虚拟机

3、解压jdk

#mkdir opt

#tar -zxvf jdk-7u79-linux-x64.tar.gz

4、将java添加到环境变量中

#vim /etc/profile

//在文件的最后添加

export JAVA_HOME=/home/master/opt/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

java -version

配置ssh免登录

$ ssh-keygen -t rsa (四个回车)

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ~/.ssh/authorized_keys //查看rsa 4. 安装hadoop2.6.0

首先将hadoop解压缩到opt文件夹

4.1 配置hadoop

4.1.1 配置hadoop-env.sh

将 JAVA_HOME 修改为刚才配置的位置 export JAVA_HOME=/home/master/opt/jdk1.7.0_79

4.1.2 配置core-site.xml

添加下面的内容:

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/master/opt/hadoop-2.6.0/tmp io.file.buffer.size 4096

4.1.3 配置hdfs-site.xml

添加下面的内容:

dfs.replication 2 dfs.namenode.name.dir file:///home/master/opt/hadoop-2.6.0/dfs/name dfs.datanode.data.dir file:///home/master/opt/hadoop-2.6.0/dfs/data dfs.nameservices h2

dfs.namenode.secondary.http-address master:50090 dfs.webhdfs.enabled true

4.1.4 配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

添加下面的内容:

mapreduce.framework.name yarn true mapreduce.jobtracker.http.address master:50030 mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888 mapred.job.tracker http://master:9001

4.1.5 配置yarn-site.xml

添加下面的内容:

yarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088