[發明專利]一種日志處理方法及相關設備

有效

• 申請號: 201710405331.7
• 申請日: 2017-05-31
• 公開（公告）號: CN107169126B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 張穎;方新
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/182;G06F11/14
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請實施例公開了一種日志處理方法及相關設備。所述方法應用于分布式文件系統，所述分布式文件系統包括元數據服務或客戶端模塊、對象存儲模塊、數據服務模塊以及數據對象模塊，包括：所述元數據服務或客戶端模塊當發起數據或元數據的輸入輸出I/O操作時，獲取I/O上下文，所述I/O上下文包括數據對象信息和伴生日志信息；所述對象存儲模塊與所述數據服務模塊通信，對所述伴生日志信息進行處理，并將處理后的所述伴生日志信息與所述數據對象信息一起寫入所述數據對象模塊中。采用本申請實施例，更加容易實現文件元數據和數據操作相關的增值業務，保持伴生日志信息與I/O操作事務的一致性，以及提高伴生日志信息的可靠性。

技術領域

本申請涉及文件系統領域，尤其涉及一種日志處理方法及相關設備。

背景技術

在分布式文件系統中，存在一些操作頻繁、操作記錄需要持久化保存、操作記錄內容簡短、且可以歸并為同一對象集合處理的操作，例如，配額(Quota)特性、快照特性、文件變更日志特性等。這些業務特性要求在修改元數據對象的同時，需要記錄一條伴生日志信息。伴生日志信息必須具有可靠性，不能丟失；伴生日志信息同修改元數據對象的動作具備原子性，元數據對象操作成功，則伴生日志信息記錄成功；如果元數據對象操作失敗，則伴生日志信息記錄失敗，伴生日志信息的創建和記錄是數據對象I/O操作的伴生行為，不會脫離I/O操作單獨實現。

在現有技術方案中，本地文件系統上Quota特性實現，基本思路是對于一個Quota配置存在一個Quota文件，當與Quota配置相關的目錄和文件有操作時，該目錄或文件的空間累計使用情況會記錄在節點(node)信息中，這些node信息會定期同步到Quota文件中。定期同步就避免了即時同步對Quota文件的頻繁操作，同時會有獨立的進程對Quota信息進行資源的分配和限制。分布式文件系統上Quota特性實現，基本思路就是配備高性能、高可靠性的數據庫保存Quota信息；或者通過獨立線程來管理歸并Quota記錄。

但是，對于分布式文件系統，通過Quota文件和Quota進程實現方式已經不適用，分布在集群不同host主機上的node信息、和Quota文件之間要增加通信信道完成信息同步，并且分布式文件系統的文件存儲量更大，文件操作更頻繁，這樣就會形成瓶頸，無法做到操作和Quota記錄同步。

發明內容

本申請實施例所要解決的技術問題在于增值業務不易實現以及操作無法保持同步，提供一種日志處理方法及相關設備。

第一方面，本申請實施例提供了一種日志處理方法，所述方法應用于分布式文件系統，所述分布式文件系統包括元數據服務或客戶端模塊、對象存儲模塊、數據服務模塊以及數據對象模塊，包括：所述元數據服務或客戶端模塊當發起數據或元數據的輸入輸出I/O操作時，獲取I/O上下文，所述I/O上下文包括數據對象信息和伴生日志信息；所述對象存儲模塊與所述數據服務模塊通信，對所述伴生日志信息進行處理，并將處理后的所述伴生日志信息與所述數據對象信息一起寫入所述數據對象模塊中。從而更加容易實現文件元數據和數據操作相關的增值業務，保持伴生日志信息與I/O操作事務的一致性，以及由于可以在數據對象模塊的同HOST上的多個磁盤保存多份伴生日志信息，因此提高伴生日志信息的可靠性。

在一種可能的設計中，所述對象存儲模塊將所述伴生日志信息轉發給所述數據服務模塊；所述數據服務模塊根據所述伴生日志信息的信息類型以及所述數據對象信息，確定對所述伴生日志信息處理方式，并按照所述處理方式將所述伴生日志信息寫入到所述數據對象模塊中。

在另一種可能的設計中，所述對象存儲模塊與所述數據服務模塊通信，對所述伴生日志信息的進行處理，并將處理后的所述伴生日志信息寫入到所述數據對象模塊中之后，所述對象存儲模塊與所述數據服務模塊通信，獲取所述數據對象模塊中的所述伴生日志信息以提供查詢或歸檔處理。