千家信息网

hadoop如何部署

发表于:2026-11-03 作者:千家信息网编辑
千家信息网最后更新 2026年11月03日,这篇文章将为大家详细讲解有关hadoop如何部署,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Hadoop的三种模式:Standalone Operation 单机
千家信息网最后更新 2026年11月03日hadoop如何部署

这篇文章将为大家详细讲解有关hadoop如何部署,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

Hadoop的三种模式:
Standalone Operation 单机模式 不开发 不生产 没有进程
Pseudo-Distributed Operation 伪分布式 开发 不生产 独立进程 但是只部署在1台机器
Fully-Distributed Operation 分布式 开发 生产 独立进程 但是只部署在n台机器

部署:
1.解压
命令:tar -xzvf hadoop-2.8.1.tar.gz


2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和机器名字
如:


3.修改权限



4.配置文件
part1:
切换到hadoop用户后再切换到我的hadoop资源目录


从官网获取配置代码,添加到configuration配置里

更改localhost为我们自己的ID

part2:指令:vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml



5.无密码ssh
输入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa


继续执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

指令执行完成后用ssh 192.168.137.252来检查,如果结果仍然是自己的话就成功了。

这里可能会要给hadoop用户设置进入密码,可以去root用户使用命令passwd hadoop(可以是你的hadoop用户名)设定。


6.namenode格式化
首先切换用户到hadoop用户,然后我们跳转到/opt/software/hadoop.... 即hadoop的文件目录下了,输入指令bin/hdfs namenode -format,此事如果报错为(WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
),我们需要进入文件/etc/sysconfig/network中,vi编辑它,变成如图:

如果没有报错则结果为:


7.启动
还是在hadoop文件目录下vi进入文件vi etc/hadoop/hadoop-env.sh,按I修改文件尾部添加内容为如图:
输入指令:sbin/start-dfs.sh得到如图结果则为成功:
输入JPS查看结果为:

关于"hadoop如何部署"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

文件 用户 指令 结果 输入 配置 机器 目录 篇文章 进程 如图 切换 开发 生产 成功 内容 分布式 命令 密码 尾部 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 湖南永感互联网科技有限公司 今日互联网科技 重庆互联网络科技 奇酷互联网科技 上海喔噻互联网科技 广州互联网络科技有限公司 济南华为互联网科技产业总部基地 互联网金融科技公司干啥的 互联网科技创新服务 互联网科技有哪些公司 互联网还是高科技吗 重庆互联网医院沙龙医盟信息科技 开一家科技互联网公司需要多少钱 浙南科技城互联网大厦建设工程 互联网科技平台产品运营 张家口科技产业互联网平台 互联网科技博主张洲 青岛互联网科技园 东风日产互联网科技公司叫什么 宁波允成互联网科技有限公司 互联网金融 科技金融 以房互联网科技 百单互联网科技有限公司 智慧科技互联网 互联网科技视频素材 佳云科技和互联网广告 互联网科技与管理 未来五年的互联网科技 洛阳昕诺飞互联网科技有限公司 知域互联网科技有限公司官网
0