博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
元数据 数据块
阅读量:6894 次
发布时间:2019-06-27

本文共 515 字,大约阅读时间需要 1 分钟。

元数据包括:

-          文件系统目录树信息

  • 文件名,目录名
  • 文件和目录的从属关系
  • 文件和目录的大小,创建及最后访问时间
  • 权限

-          文件和块的对应关系

  • 文件由哪些块组成

-          块的存放位置

  • 机器名,块ID

 

数据块:

-          在传统的块存储介质中,块是读写的最小数据单位 (扇区)

  • 传统文件系统基于存储块进行操作
  • 为了节省文件分配表空间,会对物理存进行储块整般合,一般大小为4096字节

 

-          HDFS也使用了块的概念,但是默认大小设为64M字节

  • 可针对每个文件配置,由客户端指定
  • 每个块有一个自己的全局ID

 

-          HDFS将一个文件分为一个或数个块来存储,每个块是一个独立的存储单位,以块为单位在集群服务器上分配存储。

-          与传统文件系统不同的是,如果实际数据没有达到块大小,则并不实际占用磁盘空间

· 如果一个文件是200M,则它会被分为4个块: 64+64+64+8

 

-          HDFS对元数据和实际数据采取分别存储的方法

  • 元数据存储在一台指定的服务器上(NameNode)
  • 实际数据储存在集群的其他机器的本地文件系统中(DataNode)

转载于:https://www.cnblogs.com/SleepyLemon/p/8343283.html

你可能感兴趣的文章
d3.js ----面积图表
查看>>
快速写个node命令行工具
查看>>
Zepto这样操作元素属性
查看>>
30-seconds-code——Object
查看>>
pyspark底层浅析
查看>>
【设计模式】组合模式之神经网络应用
查看>>
Jenkins系统搭建及常见操作
查看>>
SQL Server 2012自动异地备份
查看>>
Ubuntu 下 SVN 多版本库的搭建
查看>>
CSS选择器
查看>>
PHP遍历接口Iterator详解
查看>>
一款简单到极致的 React 数据流框架——Refast
查看>>
ribbon的ServerListRefreshInterval
查看>>
Android我还可以相信你多少系列文章二之音视频播放
查看>>
使用Brotli提高网站访问速度
查看>>
Python3安装Pymongo
查看>>
OS层面删除数据文件后的恢复方式(LINUX):
查看>>
用FileZilla搭建FTP服务器及相关问题
查看>>
http状态吗307,303,302的区别
查看>>
(译)Scrum和XP的不同
查看>>