千家信息网

Hadoop 部署之环境准备(一)

发表于:2026-11-02 作者:千家信息网编辑
千家信息网最后更新 2026年11月02日,一、软硬件规划ID主机类型主机名IP应用软件操作系统硬件配置1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-
千家信息网最后更新 2026年11月02日Hadoop 部署之环境准备(一)

一、软硬件规划

ID主机类型主机名IP应用软件操作系统硬件配置
1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储
2物理机datanode01192.168.1.201jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储
3物理机datanode02192.168.1.202jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储
4物理机datanode03192.168.1.203jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储

我这里规划的角色不是太好,如果是四台机器,建议大家按照我们下面的分配

  • ZooKeeper
    ZooKeeper Server:namenode01
  • HDFS
    NameNode:namenode01
    SecondaryNameNode:namenode01
    DataNode:datanode[01-03]
  • YARN
    ResourceManager:namenode01
    NodeManager:datanode[01-03]
  • HBase
    Master:namenode01
    RegionServer:datanode[01-03]
  • Hive
    HiveServer2:namenode01
    Hive Metastore Server:namenode01
  • Spark
    Master:namenode01
    Worker:datanode[01-03]

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01192.168.1.202 datanode02 hbase03 spark03 zk02192.168.1.203 datanode03 hbase04 spark04 zk03

三、配置 SSH 互信

在namenode01节点上面进行操作。

ssh-keygen -t rsassh-copy-id namenode01ssh-copy-id datanode01ssh-copy-id datanode02ssh-copy-id datanode03

四、创建用户

创建用户(4台机器相同操作)

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo设置用户权限(4台机器相同操作),添加如下内容:

hadoop    ALL=(ALL)       ALL

五、JDK 的安装

下载JDK1.8,可以选择下载rpm包,直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

主机 内存 物理 存储 机器 用户 相同 规划 配置 操作系统 内容 命令 应用软件 建议 服务器 权限 硬件 类型 系统 节点 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 互联网科技工作委员会副主任毛军 科技股互联网 疫情对互联网科技公司影响 互联网科技卖菜 互联网与科技金融数据 青岛互联网科技公司 哈尔滨新华互联网科技 汉立互联网科技有限公司联系电话 西藏七维空间互联网科技有限公司 互联网之后的科技是什么 互联网金融科技公司干啥的 互联网科技有哪些公司 受益于互联网科技的高速发展 速维有品互联网信息科技(苏州)有限公司 996高科技互联网公司 富国互联网科技002692 上海互联网科技公司ppt 广东鹅鹅鹅互联网科技有限公司 版纳互联网科技选哪家 现代科技的标志之一的互联网 金诺互联网科技 深圳科技互联网 北京互联网科技有限公司 掌上梦互联网科技 北京大学互联网科技怎么样 温州喔噻互联网科技有限公司 洛阳共同富裕互联网科技有限公司 互联网科技公司营业执照怎么办理 广州富喜互联网络科技 求路客互联网科技电话
0