Hadoop体系结构是怎么样的

小编给大家分享一下Hadoop体系结构是怎么样的，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

一. Namenode

1. 介绍

1) 是整个文件系统的管理节点

2) 它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表

3) 接收用户的操作请求

4) 文件/目录的元信息是指文件的名称、大小、修改时间等等信息

2. hdfs文件查看

1) 查看路径：hdfs-site.xml的dfs.replication属性hadoop.tmp.dir

                     hadoop.tmp.dir              /usr/local/hadoop/tmp       

查看文件

[root@chaoren hadoop]# cd /usr/local/hadoop/tmp/dfs/name/current[root@chaoren current]# lsedits  fsimage  fstime  VERSION

2) fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息

3) edits:操作日志文件

4) fstime:保存最近一次checkpoint的时间

二. Datanode

1. 提供真实文件数据的存储服务。

2. 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是64MB，以一个256MB文件，共有256/64=4个Block.

3. 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间

4. Replication。多复本。默认是三个。查看hdfs-site.xml的dfs.replication属性

三. SecondaryNameNode

1. HA的一个解决方案。但不支持热备。配置即可。

2. 执行过程：从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，同时重置NameNode的edits.

3. 默认在安装在NameNode节点上，但这样...不安全

4. 其他

以上是"Hadoop体系结构是怎么样的"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！