一、机架策略
Hdfs 的“ rack sense”在节点之间发送一个数据包来检测它们是否在同一个 rack 上。一般在这个机架上放一个拷贝,在另一个机架上存储一个拷贝,这样既可以防止丢失数据机架的故障,又可以提高带宽利用率,这个小系列给大家讲解一下,成都大数据培训 hdfs 的策略和模式。
可以在 hdfs-site.xml 中设置复制因子指定副本数量
当DataNode启动时,它遍历本地文件系统以生成HDFS块和本地文件之间的对应关系列表(块报告),并向NameNode报告
三、安全模式
Namenode 从”安全模式”阶段开始
在这个阶段,namenode 从每个数据阳极收集报告,当数据块数量达到最小复制数量时,namenode 被认为是“安全的”
在确定一定百分比(可设置)的数据块是“安全的”后,安全模式在一定时间后结束。
当检测到副本数不足的数据块时,将复制该数据块,直到达到最小副本数
四、心跳机制
Namenode 周期性地接收来自 datanode 的心跳消息和阻塞报告
没有按时发送心跳的 datanode 将被标记为 down,并且不会得到任何 i/o 请求
如果副本数量由于数据节点故障而减少,并且低于预设值,则名称节点将检测到这些数据库,并在适当的时候再次复制它们
引发重新复制的原因还包括数据副本本身损坏,磁盘错误,复制因子被增大等
五、效验和
效验和会作为单独一个隐藏文件保存在命名空间下
六、回收站
当你删除一个文件,你实际上把它放在回收站/垃圾桶
回收站里的文件可以快速恢复
可以设置一个时间值,当回收站里文件的存放时间超过了这个值,就被彻底删除,并且释放占用的数据块
七、快照机制
Hadoop 2. x 为 snapshot 功能添加了一个新特性。
Hdfs的快照(snapshot)是在某一时间点对指定文件系统拷贝,快照采用只读模式,可以对重要数据进行恢复、防止用户错误性的操作。
八、元数据保护
图像文件和对象日志是 namenode 的核心数据。可以配置为有多个副本
副本会降低 NameNode 的处理速度,但增加安全性
NameNode仍然是一个单点。
以上是成都大数据培训 hdfs 策略和模式的详细介绍,如果您想了解更多细节,请点击成都卡米谷大数据官方网站!成都大数据培训学校,大数据开发培训,数据分析和挖掘,零基课程正在招生,本月的教学大纲和试学录像可以联系客户服务接入!http://www.dtinone.net/