[發明專利]掃描HDFS冷數據的方法、系統和裝置

有效

• 申請號: 201610620101.8
• 申請日: 2016-07-29
• 公開（公告）號: CN107665224B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 王永光;王哲涵;唐尚文;張瑜標
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/11
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 蔡純;張靖琳

本發明公開了一種掃描HDFS冷數據的方法、系統和裝置，其中，所述方法包括：從元數據節點中導出元數據信息，作為基礎數據；對元數據節點中的元數據信息實時流式化，實時增量地獲取新的元數據信息，并與所述基礎數據合并為實時待掃描元數據信息；按照預定規則掃描所述實時待掃描元數據信息，從而實時得出冷數據。所述系統包括基礎數據獲取模塊、實時數據流式化模塊、元數據存儲模塊和實時計算模塊。本發明在獲取元數據時，將元數據流式化，實時增量地導出元數據信息，因而減小了元數據導出時對服務器的壓力；并且，本發明實時掃描元數據，極大的提高了冷數據發現的及時性。

技術領域

本發明涉及大數據處理技術領域，具體地說，涉及一種掃描HDFS(HadoopDistributed File System，Hadoop分布式文件系統)冷數據的方法、系統和裝置。

背景技術

在分布式文件存儲系統HDFS中，文件數量巨大。一般而言，冷數據(即不常用的數據)會占到總文件數的70％以上。大量冷數據的存在，造成了存儲系統的存儲、訪問壓力。

現有技術中掃描HDFS冷數據系統的原理結構框圖。在HDFS元數據服務器架構中，NameNode(A)為提供對外服務的關鍵節點，也可稱為元數據節點，其主要功能之一是管理文件的元數據信息。其中，所述的元數據信息包含了文件(夾)的目錄結構和屬性信息，還有文件與其所在位置的映射信息等，如文件名、備份數、塊數據以及節點數據等信息。為了加快元數據的訪問，NameNode(A)一般將文件的元數據存儲在內存中，但同時也將這些信息保存到硬盤上，進行持久化存儲形成元數據鏡像文件。另外，將元數據的修改操作記錄在操作日志(EditLog)中，操作日志一般存儲在JournalNode(操作日志節點)中。NameNode(S)為NameNode(A)的備用節點，用以保證元數據的安全。NameNode(S)從JournalNode中讀取EditLog，根據EditLog對其元數據進行相應的修改，以保證NameNode(S)中元數據與NameNode(A)中的元數據一致。

在現有技術中，為了掃描HDFS冷數據，在導出元數據時元數據服務器壓力過大、掃描元數據獲取冷數據及時性較差。

發明內容

本發明要解決的技術問題在于，針對現有技術的不足，提供一種掃描HDFS冷數據的方法、系統和裝置，解決在導出元數據時元數據服務器壓力過大、掃描元數據獲取冷數據及時性較差的問題。

為了解決上技術問題，本發明提供了一種掃描HDFS冷數據的方法，其中，包括以下步驟：

從元數據節點中導出元數據信息，作為基礎數據；

對元數據節點中的元數據信息實時流式化，實時增量地獲取新的元數據信息，并與所述基礎數據合并為實時待掃描元數據信息；

按照預定規則掃描所述實時待掃描元數據信息，從而實時得出冷數據。

優選地，所述對元數據信息實時流式化，實時增量地獲取新的元數據信息的步驟包括：

通過操作日志節點，實時增量地獲取操作日志；

通過回放所述操作日志，還原出與元數據節點中的元數據相同的元數據鏡像。

優選地，所述從元數據節點中導出元數據信息的步驟包括：

解析元數據節點中的元數據鏡像，獲取最新元數據信息，并導出所述最新元數據信息。

其中，作為基礎數據的所述元數據信息和新的元數據信息包括最后操作時間信息。

優選地，所述按照預定規則掃描所述實時待掃描元數據信息，從而實時得出冷數據的步驟包括：

根據設定的冷數據時間段信息，掃描所述實時待掃描元數據信息的最后操作時間信息，當所述實時待掃描元數據的最后操作時間信息位于所述設定的冷數據時間段內時，所述實時待掃描元數據為冷數據。