Hadoop环境如何配置

这篇文章主要介绍了Hadoop环境如何配置，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

Hadoop环境安装完之后需要进行相应的配置

Hadoop组件通过XML来配置，core-site.xml用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，mapred-site.xml文件用于配置MapReduce属性，hdoop支持独立模式、伪分布模式、全分布模式，在不同模式下，各属性的配置：

hadoop日志配置：在hadoop-env.sh中添加export HADOOP_LOG_DIR=/usr/lib/hadoop/logs

我hadoop2的配置如下：

core-site.xml

                        fs.default.name                hdfs://localhost/                                hadoop.tmp.dir                /usr/lib/hadoop/tmp/        

hdfs-site.xml:

                        dfs.default.name                /usr/lib/hadoop/logs/                                dfs.replication                1                                dfs.permissions                false        

mapred-site.xml:

                        mapreduce.framework.name                Yarn        

yarn-site.xml:

                        yarn.resourcemanager.resource-tracker.address                localhost:8990                                yarn.resourcemanager.scheduler.address                localhost:8991                                yarn.resourcemanager.scheduler.class                org.apache.hadoop.yarn.server.resourcemanage.scheduler.capacity.CapacityScheduler                                yarn.resourcemanager.address                localhost:8993                                yarn.nodemanager.local-dirs                /usr/lib/hadoop/tmp/node                                yarn.nodemanager.address                localhost:8994                                yarn.nodemanager.resource.memory-mb                102040                                yarn.nodemanager.remote-app-log-dir                /usr/lib/hadoop/tmp/app-logs                                yarn.nodemanager.log-dirs                /usr/lib/hadoop/tmp/node                                yarn.nodemanager.aux-services                mapreduce_shuffle        

slaves:

localhost

完事之后执行hadoop namenode -fromat 格式化hdfs文件系统。

感谢你能够认真阅读完这篇文章，希望小编分享的"Hadoop环境如何配置"这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!