[發明專利]事務日志的管理方法和裝置

在審

• 申請號: 201410383979.5
• 申請日: 2014-08-06
• 公開（公告）號: CN104156420A
• 公開（公告）日: 2014-11-19
• 發明（設計）人: 張玉龍;苗彥超;邵宗有
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;孫征

技術領域

本發明涉及計算機領域，具體來說，涉及一種事務日志的管理方法和裝置。

背景技術

在文件系統中，日志技術是指在修改元數據前，將元數據修改預先記錄到日志設備，以便在文件系統發生崩潰后，可以通過應用日志的方式將文件系統恢復到一致狀態，在元數據修改真正應用到物理磁盤后，日志設備的這部分日志空間將被回收以便再次利用。

日志技術可以將多個元數據同步操作轉化為一次日志數據同步操作，并且，在對元數據進行修改時，文件系統在原有操作的基礎上還有日志操作，由于最新的元數據修改是以日志數據的形式記錄在日志設備上的，因此在系統崩潰后，只要元數據修改有記錄到日志設備上，那么在系統恢復正常后，系統仍然可以通過重用這部分日志數據使這部分元數據修改不丟失。其中，元數據修改是以事務的形式記錄到日志設備上的，并且，在該事務中記錄著修改元數據的所有信息，因此，系統可以通過事務日志來重現一個元數據修改請求涉及的所有元數據修改，從而實現元數據的一致性。

但是，在基于元數據多副本的文件系統中，當一個副本發生故障后，為了保證元數據的一致性，其他副本則需要為故障副本保留日志數據，以便故障副本恢復至故障點后，再根據其他副本為其保留的日志數據，恢復到和其他元數據副本一致的狀態，即，元數據副本的最新狀態。但是，隨著故障副本的故障時間的增長，其他副本為其保留的日志數據規模也在不斷增加，而日志設備的存儲空間大小又限定了系統可以容忍的副本故障時間，導致整個文件系統可以容忍的副本故障時間變短；此外，由于副本的故障恢復時間與記錄的日志數據規模是成正比的，因此隨著副本故障的時間的增長，副本故障修復需要的時間也越長。

由此可見，當元數據的副本發生故障時，現有的日志技術是存在文件系統可以容忍的副本故障時間短以及故障副本修復時間長的問題的。

針對相關技術中文件系統可以容忍的副本故障時間短以及故障副本修復時間長的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中文件系統可以容忍的副本故障時間短以及故障副本修復時間長的問題，本發明提出一種事務日志的管理方法和裝置，能夠通過減少記錄到日志設備的數據量的方式，使文件系統可以容忍的副本故障時間變長，并且使故障副本得修復時間減少。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種事務日志的管理方法。

該事務日志的管理方法包括：

確定事務日志所對應的所有事務操作；

對確定的事務操作進行去重；

根據去重后的事務操作，生成新的事務日志。

其中，該事務日志的管理方法還可包括：在對確定的事務操作進行去重之前，根據事務操作所對應的操作目標，對事務操作進行分組，生成多個事務操作組；

與此對應的，在對確定的事務操作進行去重時，則是對每個事務操作組中的事務操作進行去重。

在上述方案中，在對確定的事務操作進行去重時，可確定每個事務操作的操作區間，并對操作區間進行分析，確定操作區間是否存在重復操作區間；而在確定操作區間存在重復操作區間的情況下，對存在重復操作區間的事務操作進行去重。

此外，在對確定的事務操作進行去重時，還可在對操作區間進行分析之前，根據預定的排序方式對操作區間進行排序。

其中，該預定的排序方式包括根據事務操作的操作區間的開始偏移進行排序、或根據事務操作的操作區間的結束偏移進行排序。

根據本發明的另一方面，提供了一種事務日志的管理裝置。

該事務日志的管理裝置包括：

確定模塊，用于確定事務日志所對應的所有事務操作；

去重模塊，用于對確定的事務操作進行去重；

生成模塊，用于根據去重后的事務操作，生成新的事務日志。

此外，該事務日志的管理裝置還包括：分組模塊，用于在對確定的事務進行去重之前，根據事務操作所對應的操作目標，對事務操作進行分組，生成多個事務操作組；

與此對應的，去重模塊則用于對每個事務操作組中的事務操作進行去重。

在上述方案中，去重模塊可包括確定子模塊、分析子模塊和去重子模塊；其中，確定子模塊，用于確定每個事務操作的操作區間；分析子模塊，用于對操作區間進行分析，確定操作區間是否存在重復操作區間；去重子模塊，用于在確定操作區間存在重復操作區間的情況下，對存在重復操作區間的事務操作進行去重。

此外，去重模塊還包括排序模塊，用于在對操作區間進行分析之前，根據預定的排序方式對操作區間進行排序。