hadoop中入门配置知识点有哪些

这篇文章给大家分享的是有关hadoop中入门配置知识点有哪些的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

环境

本人使用的是 XUbuntu14.04 64位，在虚拟机下搭建的

• 安装 JDK，配置环境变量

配置 classpath，修改所有用户的环境变量

sudo vim /etc/profile#在文件最后添加 #set java environmentexport JAVA_HOME={path}export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin source/etc/profile  ##使环境变量生效

• 配置SSH无密码吗登陆

在用户根目录创建隐藏文件夹 .ssh (没有的需要创建)

mkdir .ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证下 ssh ，

 shh localhost

• 安装hadoop （我用的是2.7）

• 解压文件夹
  

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目录，可根据自己的喜好选择放在哪

• 创建 hadooop 工作所需要的文件目录

• 设置环境变量 （进入$HADOOP_HOME/etc/hadoop）

sudo vim /etc/profileexport HADOOP_HOME={path}#path 后面继续跟export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 
  

• 配置文件

• 配置 hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路径

• 
  

• 配置 core-site.xml （关于Hadoop配置项的一点说明虽然只需要配置fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。shay为主机名，如果不知道自己的主机名可以 cat 一下 /etc/hostname）

            hadoop.tmp.dir        file:/usr/local/hadoop/tmp                fs.defaultFS        hdfs://shay:9000    

• 
  

• 配置hdfs-site.xml

            dfs.replication        1                dfs.namenode.name.dir        file:/usr/local/hadoop/tmp/dfs/name                dfs.datanode.data.dir        file:/usr/local/hadoop/tmp/dfs/data        

• 
  

• 配置 mapred-site.xml

                    mapreduce.framework.name         yarn    

• 
  

• 配置 yarn-site.xml

                    yarn.nodemanager.aux-services                mapreduce_shuffle                yarn.resourcemanager.hostname        shay    

• 
  

• 配置 yarn-env.sh

export JAVA_HOME=${JAVA_HOME}

• 
  

• Hadoop 启动
  

• 执行 namenode 格式化
  

hdfs namenode -format

• 
  

• 开启守护进程
  

start-dfs.sh        # NameNode 和 DataNode 守护进程start-yarn.sh       # ResourceManager 和 NodeManager 守护进程

• 验证
  

jps

感谢各位的阅读！关于"hadoop中入门配置知识点有哪些"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！