教育培训消费

成都大数据培训之HDFS策略与模式

0回复 阅读 32

一、机架策略

Hdfs 的“ rack sense”在节点之间发送一个数据包来检测它们是否在同一个 rack 上。一般在这个机架上放一个拷贝,在另一个机架上存储一个拷贝,这样既可以防止丢失数据机架的故障,又可以提高带宽利用率,这个小系列给大家讲解一下,成都数据培训 hdfs 的策略模式

二、冗余副本策略

可以在 hdfs-site.xml 中设置复制因子指定副本数量

所有数据块都可副本

当DataNode启动时,它遍历本地文件系统以生成HDFS块和本地文件之间的对应关系列表(块报告),并向NameNode报告

三、安全模式

Namenode 从”安全模式”阶段开始

安全模式阶段不生成数据

在这个阶段,namenode 从每个数据阳极收集报告,当数据块数量达到最小复制数量时,namenode 被认为是“安全的”

在确定一定百分比(可设置)的数据块是“安全的”后,安全模式在一定时间后结束。

当检测到副本数不足的数据块时,将复制该数据块,直到达到最小副本

四、心跳机制

Namenode 周期性地接收来自 datanode 的心跳消息和阻塞报告

Namenode 根据块报告验证元数据

没有按时发送心跳的 datanode 将被标记为 down,并且不会得到任何 i/o 请求

如果副本数量由于数据节点故障而减少,并且低于预设值,则名称节点将检测到这些数据库,并在适当的时候再次复制它们

引发重新复制的原因还包括数据副本本身损坏,磁盘错误,复制因子被增大等

五、效验和

在创建文件时,每个数据块生成一个校验和

效验和会作为单独一个隐藏文件保存在命名空间下

当客户端获取数据时,它可以检查校验和以查看数据块是否损坏

如果正在读取的数据块损坏,则可以继续读取其他副本

六、回收站

当你删除一个文件,你实际上把它放在回收站/垃圾桶

回收站里的文件可以快速恢复

可以设置一个时间值,当回收站里文件的存放时间超过了这个值,就被彻底删除,并且释放占用的数据

七、快照机制

Hadoop 2. x 为 snapshot 功能添加了一个新特性。

Hdfs的快照(snapshot)是在某一时间点对指定文件系统拷贝,快照采用只读模式,可以对重要数据进行恢复、防止用户错误性的操作。

八、元数据保护

图像文件和对象日志是 namenode 的核心数据。可以配置为有多个副本

副本会降低 NameNode 的处理速度,但增加安全性

NameNode仍然是一个单点。

以上是成都数据培训 hdfs 策略模式的详细介绍,如果您想了解更多细节,请点击成都卡米谷大数据官方网站!成都数据培训学校,大数据开发培训,数据分析和挖掘,零基课程正在招生,本月的教学大纲和试学录像可以联系客户服务接入!http://www.dtinone.net/

标签

大数据 大数据培训
展开全文
一键安装官方客户端
江城热点及时推送 阅读体验更流畅

1人点赞

查看更多

值得推荐

首页 版块

和武汉妹子交朋友

了解武汉的窗口

在武汉结婚  买房  装修  旅游  购物

用得意生活app有优惠

立即下载