一.hadoop伪分布式部署

========一.hadoop伪分布式=========伪分布式环境配置需要安装openjdk 和openjdk-devel软件包（用的是1.8.0版本）rpm -ql Java-openjdk-devel-1.8.0 | grep '/bin/javac'vim /etc/profile#Javaexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin#hiveexport HIVE_HOME=/data/hadoop/hiveexport PATH=$HIVE_HOME/bin:$PATH#hadoopexport  HADOOP_HOME=/data/hadoop/hadoop-2.7.4export PATH=$HADOOP_HOME/bin:$PATHsource /etc/profile java -version添加hadoop 用户 useradd -m hadoop -s /bin/bash给予sudo权限 visudo 编辑配置文件的98行，在root这行下添加hadoop用户root    ALL=(ALL)       ALLhadoop  ALL=(ALL)       ALL切换到hadoop 用户然后设置远程登录生成密钥对 ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys  chmod 600 ./authorized_keys（注意权限设置）=========二.安装hadoop=========wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gztar xf hadoop-2.7.4.tar.gz -C /data/hadoopchown -R hadoop.hadoop /data/hadoop/hadoop-2.7.4==========三.配置文件=============/data/hadoop/hadoop-2.7.4/etc/hadoop/ 路径下hdfs-site.xmlcore-site.xmlmapred-site.xml.templatehdfs-site.xml：这里面定义的是数据节点个数以块文件大小core-site.xml：定义的hadoop的header机mapred-site.xml.template：定义的是hadoop文件存放的调度方式针对伪分布式三个配置文件如下(默认为空)core-site.xml配置文件如下:            hadoop.tmp.dir        file:/data/hadoop/hadoop-2.7.4/tmp        Abase for other temporary directories.                fs.defaultFS        hdfs://localhost:9000                hdfs-site.xml配置文件如下:            dfs.replication        1                dfs.namenode.name.dir        file:/data/hadoop/hadoop-2.7.4/tmp/dfs/name                dfs.datanode.data.dir        file:/data/hadoop/hadoop-2.7.4/tmp/dfs/data             mapred-site.xml.template配置文件如下:            mapreduce.framework.name        yarn    cd /data/hadoop/hadoop-2.7.4/执行./bin/hdfs namenode -format 进行格式化./sbin/start-dfs.sh 启动完成后，可以通过命令 jps 来判断是否成功启动若成功启动则会列出如下进程: "NameNode"、"DataNode"和SecondaryNameNodevim ~/.bashrc 添加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64source ~/.bashrc 后重新启动搭建完成访问：http://192.168.0.12:50070