hadoop集群部署注意问题有哪些

这篇文章将为大家详细讲解有关hadoop集群部署注意问题有哪些，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

1、namenode 或datanode 被迫升级。

1）降级namenode，缺点：需要停止服务，不确定性因素太多（降级可能会导致所有数据丢失），测试周期长且复杂；优点：只要操作一个节点

2）升级所有的datanode，缺点：需要操作集群所有机器（也可以只升级单台机器）；优点：测试简单，风险小

很明显，第二种方案是优选方案，测试过程如下：

1）找一台采集服务器，上面已经部署了hadoop客户端，启动datanode，成功，日志信息显示版本为：203.1

2）删除build目录，再次启动datanode，失败

3）恢复build目录，再次启动datanode，成功

4）将build目录拷贝到出错的datanode上，修改hdfs-site.xml配置，将data目录修改为新建目录，启动datanode，成功

5）将data目录修改为最原始的配置，启动datanode，成功

第二种方案测试成功，在namenode上运行fsck命令，正常输出。

关于"hadoop集群部署注意问题有哪些"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。