Hadoop 部署之环境准备(一)
发表于:2026-11-02 作者:千家信息网编辑
千家信息网最后更新 2026年11月02日,一、软硬件规划ID主机类型主机名IP应用软件操作系统硬件配置1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-
千家信息网最后更新 2026年11月02日Hadoop 部署之环境准备(一)
一、软硬件规划
| ID | 主机类型 | 主机名 | IP | 应用软件 | 操作系统 | 硬件配置 |
|---|---|---|---|---|---|---|
| 1 | 物理机 | namenode01 | 192.168.1.200 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
| 2 | 物理机 | datanode01 | 192.168.1.201 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
| 3 | 物理机 | datanode02 | 192.168.1.202 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
| 4 | 物理机 | datanode03 | 192.168.1.203 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
我这里规划的角色不是太好,如果是四台机器,建议大家按照我们下面的分配
- ZooKeeper
ZooKeeper Server:namenode01 - HDFS
NameNode:namenode01
SecondaryNameNode:namenode01
DataNode:datanode[01-03] - YARN
ResourceManager:namenode01
NodeManager:datanode[01-03] - HBase
Master:namenode01
RegionServer:datanode[01-03] - Hive
HiveServer2:namenode01
Hive Metastore Server:namenode01 - Spark
Master:namenode01
Worker:datanode[01-03]
二、主机名解析
修改四台服务器的主机名。
192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01192.168.1.202 datanode02 hbase03 spark03 zk02192.168.1.203 datanode03 hbase04 spark04 zk03
三、配置 SSH 互信
在namenode01节点上面进行操作。
ssh-keygen -t rsassh-copy-id namenode01ssh-copy-id datanode01ssh-copy-id datanode02ssh-copy-id datanode03四、创建用户
创建用户(4台机器相同操作)
useradd hadoop && echo '123456' |passwd --stdin hadoop使用命令visudo设置用户权限(4台机器相同操作),添加如下内容:
hadoop ALL=(ALL) ALL五、JDK 的安装
下载JDK1.8,可以选择下载rpm包,直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
主机
内存
物理
存储
机器
用户
相同
规划
配置
操作系统
内容
命令
应用软件
建议
服务器
权限
硬件
类型
系统
节点
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
互联网科技工作委员会副主任毛军
科技股互联网
疫情对互联网科技公司影响
互联网科技卖菜
互联网与科技金融数据
青岛互联网科技公司
哈尔滨新华互联网科技
汉立互联网科技有限公司联系电话
西藏七维空间互联网科技有限公司
互联网之后的科技是什么
互联网金融科技公司干啥的
互联网科技有哪些公司
受益于互联网科技的高速发展
速维有品互联网信息科技(苏州)有限公司
996高科技互联网公司
富国互联网科技002692
上海互联网科技公司ppt
广东鹅鹅鹅互联网科技有限公司
版纳互联网科技选哪家
现代科技的标志之一的互联网
金诺互联网科技
深圳科技互联网
北京互联网科技有限公司
掌上梦互联网科技
北京大学互联网科技怎么样
温州喔噻互联网科技有限公司
洛阳共同富裕互联网科技有限公司
互联网科技公司营业执照怎么办理
广州富喜互联网络科技
求路客互联网科技电话