元数据包括:
- 文件系统目录树信息
- 文件名,目录名
- 文件和目录的从属关系
- 文件和目录的大小,创建及最后访问时间
- 权限
- 文件和块的对应关系
- 文件由哪些块组成
- 块的存放位置
- 机器名,块ID
数据块:
- 在传统的块存储介质中,块是读写的最小数据单位 (扇区)
- 传统文件系统基于存储块进行操作
- 为了节省文件分配表空间,会对物理存进行储块整般合,一般大小为4096字节
- HDFS也使用了块的概念,但是默认大小设为64M字节
- 可针对每个文件配置,由客户端指定
- 每个块有一个自己的全局ID
- HDFS将一个文件分为一个或数个块来存储,每个块是一个独立的存储单位,以块为单位在集群服务器上分配存储。
- 与传统文件系统不同的是,如果实际数据没有达到块大小,则并不实际占用磁盘空间
· 如果一个文件是200M,则它会被分为4个块: 64+64+64+8
- HDFS对元数据和实际数据采取分别存储的方法
- 元数据存储在一台指定的服务器上(NameNode)
- 实际数据储存在集群的其他机器的本地文件系统中(DataNode)