[發明專利]元數據處理方法、裝置及電子設備

有效

• 申請號: 202010085229.5
• 申請日: 2020-02-10
• 公開（公告）號: CN111274210B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 周應超
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/18;G06F16/182
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李英艷;馮志云

本公開是關于一種元數據處理方法、裝置、電子設備和計算機可讀存儲介質。其中元數據處理方法應用于元數據服務器，元數據服務器包括非易失性內存，該方法包括：響應于接收到元數據編輯請求，在編輯日志中生成與元數據編輯請求指示的編輯操作信息相關的編輯日志條目；基于編輯日志條目，根據編輯日志條目相關的編輯操作信息來編輯非易失性內存中存儲的原始元數據，以獲得更新后的元數據；在對原始元數據編輯成功之后，從編輯日志中刪除編輯日志條目。通過使用非易失性內存來存儲元數據，提高了分布式文件系統的性能。

技術領域

本公開涉及分布式文件系統領域，尤其涉及分布式文件系統的元數據處理方法、元數據處理裝置及電子設備和計算機可讀存儲介質。

背景技術

在典型的分布式文件系統中，會有元數據服務器、數據服務器以及客戶端。元數據服務器保存文件系統的“元”信息。這些信息大體可以分為三類，第一類是名字空間信息，所謂名字空間就是文件系統目錄的樹狀結構，在實際實現中，根目錄會有一個固定的位置，然后從根目錄開始，每個目錄保存一個指向它的所有子目錄或文件的索引指針，通過這些索引指針就組織起了整個文件系統的名字空間，使得可以從根目錄一層一層找到任意目錄或文件；第二類是屬性信息，即目錄或文件的各種屬性數據，比如創建時間、最后修改時間、訪問控制權限、文件所有者等；第三類信息是文件數據的位置信息，每個文件的數據分割成一個個固定大小的“塊”(文件最后一個塊的大小可能小于或等于該固定大小)，而每個塊的副本可能分布在多個數據節點上，元數據服務器會記錄各個副本所在的節點。

在通常的分布式文件系統的實現中，元數據信息都保存在內存(DRAM)中。包含元數據信息的內存在應用程序或服務器重啟或關閉后內容會消失。

發明內容

為克服相關技術中存在的問題，本公開提供一種元數據處理方法、元數據處理裝置及電子設備和計算機可讀存儲介質。

根據本公開實施例的第一方面，提供一種元數據處理方法，該方法應用于元數據服務器，元數據服務器包括非易失性內存，所述方法包括：響應于接收到元數據編輯請求，在編輯日志中生成與所述元數據編輯請求指示的編輯操作信息相關的編輯日志條目；基于所述編輯日志條目，根據所述編輯日志條目相關的所述編輯操作信息來編輯所述非易失性內存中存儲的原始元數據，以獲得更新后的元數據；在對所述原始元數據編輯成功之后，從所述編輯日志中刪除所述編輯日志條目。

在一實施例中，所述方法還包括：在所述元數據服務器或與所述元數據編輯請求相關的應用程序重啟時，判斷所述編輯日志中是否存在保留的編輯日志條目；在存在保留的編輯日志條目的情況下，根據所述保留的編輯日志條目相關的編輯操作信息來編輯所述非易失性內存中存儲的所述原始元數據，以獲得更新后的元數據。

在一實施例中，判斷所述編輯日志中是否存在保留的編輯日志條目包括：判斷所述編輯日志中是否存在編輯日志條目；在不存在編輯日志條目的情況下，判斷所述編輯日志中不存在保留的編輯日志條目；在存在編輯日志條目的情況下，判斷存在的編輯日志條目是否完整；如果所述存在的編輯日志條目完整，則確定所述編輯日志中存在保留的編輯日志條目；如果所述存在的編輯日志條目不完整，則確定所述編輯日志中不存在保留的編輯日志條目，并且丟棄不完整的編輯日志條目。

在一實施例中，所述方法還包括：判斷所述更新后的元數據與所述編輯操作信息的預期編輯結果是否一致；在判斷所述更新后的元數據與所述編輯操作信息的預期編輯結果一致的情況下，確定對所述原始元數據編輯成功。

在一實施例中，所述編輯日志存儲在非易失性內存和/或持久存儲器上。

在一實施例中，所述方法應用于分布式文件系統。