[發明專利]一種對稱分布式文件系統的元數據日志更新方法

有效

• 申請號: 201711143345.2
• 申請日: 2017-11-17
• 公開（公告）號: CN108153804B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 張明富;吳江;李明壯
• 申請（專利權）人: 極道科技（北京）有限公司;北京榮之聯科技股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/17
• 代理公司: 北京正理專利代理有限公司 11257
• 代理人: 付生輝

本發明公開一種對稱分布式文件系統的元數據日志更新方法，包括：在對稱分布式文件系統中的塊節點的本地文件系統執行文件操作前，為該文件的元數據創建具有唯一序列號的文件操作的日志記錄并將操作碼和參數寫入日志記錄；本地文件系統執行文件操作；之后，將執行文件操作后文件的屬性信息和完成標志寫入日志記錄；在本地文件系統從異常故障中恢復后掃描各日志記錄，對于未寫入完成標志的日志記錄：根據該日志記錄中的操作碼和參數與文件當前的屬性信息進行比對，以確認對應的文件操作是否完成，若完成則將完成標志寫入該日志記錄，若未完成則刪除該日志記錄。本發明可在對稱分布式文件系統服務端構建完整有效精簡的文件的元數據的日志記錄。

技術領域

本發明涉及數據管理技術領域。更具體地，涉及一種對稱分布式文件系統的元數據日志更新方法。

背景技術

目前在存儲領域，主流的分布式文件按照有無元數據服務器(集群)可以分為非對稱分布式文件系統(有元數據服務器)和對稱分布式文件系統(無元數據服務器)，非對稱分布式文件系統構建的集群中要專門有一個中心節點或集群用于保存元數據信息和管理對數據的訪問，非對稱分布式文件系統的代表產品有CephFS、HDFS等；而對稱分布式文件系統則與之相反，集群中只有一系列塊節點，這些塊節點形成了區間布局(hash layout)，客戶端在訪問文件時，先根據文件名計算出該文件屬于哪個塊節點，然后直接與此塊節點建立連接以進行文件讀寫操作，對稱分布式文件系統代表產品有GlusterFS。

有元數據服務器的非對稱分布式文件系統會在內存中維護經常訪問的元數據信息，并且每種類型的文件操作都會以更新日志(changlog)形式記錄下來，以方便節點發生異常重啟后，根據磁盤上的最近一次更新的元數據視圖及后續的一系列更新日志來恢復節點異常那一刻的內存中的元數據狀態。用這種方法可以很好的解決同步向磁盤更新元數據信息帶來的性能低開銷大的問題。內存中的元數據視圖定期向磁盤刷新，近期的元數據的更新日志雖然已經作用不大，但依然可以保留下來提供給數據管理系統用于數據分析。

但是，對于像GlusterFS這種對稱分布式文件系統來說：首先，對稱分布式文件系統并沒有統一的中心節點用于記錄元數據信息，每個文件操作都要分布到某個塊節點上；其次，在塊節點上存儲文件，更多的還是依賴于本地文件系統(local filesystem)，在塊節點異常宕機時，可能出現實際執行的文件操作與文件的元數據更新后的日志記錄不一致的情況發生，需要有額外機制來保護；最后，在將更新后的日志記錄提供給數據管理系統時，由于每個塊節點各自維護了自己的日志序列，如果簡單的聚合成一個總的日志序列或者說總日志流，就會出現某些文件操作比其依賴的操作更早出現在總的日志序列中的情況，這可能會造成數據管理系統元數據信息與文件系統不一致。對稱分布式文件系統的具體問題包括：

第一、在塊節點的本地文件系統執行文件操作時，要把本次執行的文件操作的日志信息記錄下來或者說寫入日志記錄，這實際是兩個動作，在發生節點宕機等異常事件時，如果先執行文件操作，再寫入日志記錄，可能會導致日志丟失；反之，如果先寫入日志記錄，再執行文件操作，則可能出現無效的日志記錄。

第二、文件寫入數據操作會更新文件的元數據的長度屬性(size)。連續的文件寫入數據操作請求會產生大量的屬性更新日志，開銷較大，而且完全不必要，因為對于數據管理系統來說，只需要最終的文件長度信息。

第三、創建目錄操作和刪除目錄操作會在塊節點上執行，所以對于同一個目錄是有重復的日志生成。多個塊節點的日志記錄在聚合時，為了保證“創建父目錄-創建子目錄項”和“刪除所有子目錄項-刪除父目錄”的邏輯關系，需要保留第一條執行創建目錄操作后的日志記錄和最后一條執行刪除目錄操作后的日志記錄，其他的可以直接忽略掉。

第四、執行文件重命名操作，要涉及到源文件和目標文件，而源文件和目標文件可能不在同一個塊節點上，這樣就無法保證這條執行文件重命名操作后的日志記錄對兩個文件的所有操作都有序，可能導致數據管理系統與文件系統元數據視圖不一致。

因此，需要提供一種新的對稱分布式文件系統的元數據日志更新方法。