hadoop install

1.Hadoop安装步骤
将Hadoop文件拷贝到/usr/local目录下并解压Tar -zxvf hadoop-3.0.0.tar.gz
将解压后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射关系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相关,在/usr/local/hadoop/etc/hadoop目录下配置
vim hadoop-env.sh 运行环境依赖Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode节点（Hadoop可以启动啦）
2.1、vim core-site.xml 每个节点都需要配置才可
------配置通信节点url，所有节点都需要该配置
hadoop.tmp.dir 配置Hadoop文件存储默认目录（若未配置，默认保存临时目录/tmp下的）


fs.defaultFS
hdfs://master:9000

hadoop.tmp.dir
/var/hadoop

3.Hadoop默认4个基本配置文件
hadoop默认配置
Core-default.xml ------对应 core-site.xml
Hdfs-default.xml-------对应 hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆盖默认配置（Hdfs-site.xml仅在Namenode配置即可）
----配置hadoop复制的保存份数（只在namenode节点配置即可）
dfs.replication HDFS保存文件保存的份数（默认是3份）
dfs.namenode.heartbeat.recheck-interval DataNode健康检查的间隔时间（毫秒）
dfs.permissions.enabled 测试时，可以关闭权限检查(否则没有权限访问）


dfs.replication
3


dfs.namenode.heartbeat.recheck-interval
20000


dfs.permissions.enabled
false


3.2、mapred-site.xml仅在Namenode配置即可），
mapreduce.framework.name 将mapreduce与yarn资源调度平台关联（即mapreduce计算引擎使用yarn作为调度引擎）


mapreduce.framework.name
yarn


3.3yarn-site.xml仅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主机名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置计算MapReduce计算服务



yarn.resourcemanager.hostname
hmaster

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

4、基本配置完毕，先格式化namenode节点
Hdfs namenode -format
start-dfs.sh 启动Hadoop集群所有节点
stop-dfs.sh 停止Hadoop集群所有节点
启动namenode节点（master）
hdfs --daemon start namenode （3.0写法）
hdfs --daemon stop namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
jps查看相关进程是否起来
hdfs dfsadmin -report | more 查看Hadoop集群的状态
http://172.26.19.40:50070/ Hadoop集群UI管理界面
http://172.26.19.40:9000/ 集群内部通信接口服务
5、仅在namenode节点/usr/local/hadoop/etc/hadoop下
在slaves文件里添加所有DataNode节点hostname（方便以后脚本批量配置所有slaves节点）
vim slaves
hslave1
hslave2
hslave3
6、免密设置
cd ~ 来到根目录 ll -a 找到.ssh 文件
在.ssh目录执行 ssh-keygen -t rsa 生成root用户私钥与公钥如下图
然后将公钥id_rsa.pub 拷贝到所有slave节点.ssh目录
（在master 上用root登录slave时，用master的私钥加密后传输到slave节点，在所有slave节点拷贝的公钥能解密，证明是root用户登录上来了）
执行命令 Ssh-copy-id slave2 拷贝公钥id_rsa.pub 到slave2的.ssh目录（生成文件authorized_keys）
这时在master上可以免密登录slave1了