[發明專利]HDFS的目錄操作的事務控制方法及裝置

在審

• 申請號: 201911069202.0
• 申請日: 2019-11-05
• 公開（公告）號: CN110888717A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 毛恒
• 申請（專利權）人: 中盈優創資訊科技有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/48;G06F16/182
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周曉飛;谷敬麗

本發明提供了一種HDFS的目錄操作的事務控制方法及裝置，該方法包括：獲得多個事務的執行順序，所述事務包括對至少一個HDFS目錄的至少一個操作；根據所述執行順序，按照如下步驟執行事務：在每個事務的每個操作執行之前，檢驗該操作對應的目錄是否被其他事務占用；在該操作對應的目錄被其他事務占用時，將該事務掛起；在該操作對應的目錄未被其他事務占用時，執行該操作。本發明可以實現對HDFS的目錄操作的事務控制。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種HDFS的目錄操作的事務控制方法及裝置。

背景技術

目前Hadoop環境下，Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。但是，HDFS的目錄操作是不支持事務控制的，在業務上如果有較為復雜的邏輯控制或出現異常時，經常出現回退到初始狀態的問題，因此，目前缺乏一種對HDFS的目錄操作進行事務控制的有效方法。

發明內容

本發明實施例提出一種HDFS的目錄操作的事務控制方法，用以實現對HDFS的目錄操作的事務控制，該方法包括：

獲得多個事務的執行順序，所述事務包括對至少一個HDFS目錄的至少一個操作；

根據所述執行順序，按照如下步驟執行事務：

在每個事務的每個操作執行之前，檢驗該操作對應的目錄是否被其他事務占用；

在該操作對應的目錄被其他事務占用時，將該事務掛起；

在該操作對應的目錄未被其他事務占用時，執行該操作。

本發明實施例提出一種HDFS的目錄操作的事務控制裝置，用以實現對HDFS的目錄操作的事務控制，該裝置包括：

事務等待模塊，用于獲得多個事務的執行順序，所述事務包括對至少一個HDFS目錄的至少一個操作；

事務校驗模塊，用于檢驗該操作對應的目錄是否被其他事務占用；

操作執行模塊，用于執行對HDFS目錄的操作；

事務控制模塊，用于根據事務等待模塊中的執行順序，按照如下步驟執行事務：

在每個事務的每個操作執行之前，采用事務校驗模塊檢驗該操作對應的目錄是否被其他事務占用；

在該操作對應的目錄被其他事務占用時，將該事務掛起；

在該操作對應的目錄未被其他事務占用時，采用操作執行模塊執行該操作。

本發明實施例還提出了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述HDFS的目錄操作的事務控制方法。

本發明實施例還提出了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有執行上述HDFS的目錄操作的事務控制方法的計算機程序。

在本發明實施例中，獲得多個事務的執行順序，所述事務包括對至少一個HDFS目錄的至少一個操作；根據所述執行順序，按照如下步驟執行事務：在每個事務的每個操作執行之前，檢驗該操作對應的目錄是否被其他事務占用；在該操作對應的目錄被其他事務占用時，將該事務掛起；在該操作對應的目錄未被其他事務占用時，執行該操作。在上述過程中，根據所述執行順序執行事務實現了對多項事務執行同一HDFS目錄時的排隊控制，通過檢驗該操作對應的目錄是否被其他事務占用，可實現對執行事務的控制，包括將該事務掛起或執行該操作。

附圖說明