成都大数据培训之secondary namenode其中的操作细节

一、NameNode概念

namenode需要管理datanode，namenode中存储管理信息—元数据metadata — FileName replicas block-Ids id2host：

a. 记录文件存储位置 /node01/a.txt

b. 记录文件切的块数

c. 文件块存储的datanode的地址

* fsimage:存储元数据。但是注意fsimage中的元数据和内存中并不一致，也就意味着fsimage中的数据并不是实时数据

*edits:存储HDFS的操作

*fstime:记录上一次的更新时间

二、checkpoint操作：该操作就相当于拍快照，其中的属性：

fs.checkpoint.period 用于指定两次checkpoint的最大时间间隔，默认3600秒（即一个小时）

fs.checkpoint.size 用于规定edits文件的最大值，一旦超过这个值就强制checkpoint，不管是否到达最大时间间隔，默认的大小为64MB。

* secondary namenode的工作流程：

1.secondary通知namenode切换edits文件

2.secondary通过http从namenode获得fsimage文件和edits文件

3.将fsimage文件载入内存，然后开始合并edits文件

4.secondary将新的fsimage文件发回给namenode

5.用新的fsimage文件替换旧的fsimage文件

以上是成都大数据培训之secondary namenode其中的操作细节讲解。如果想了解更多详情，请点击成都卡米古大数据官网！成都大数据培训学校、大数据开发培训、数据分析与挖掘、零基础课程正在招生。这个月的教学大纲和试用视频可以通过联系客服获取！http://www.dtinone.net/